Ugyanakkor érdemes szkepticizmussal tekinteni viszonyulni a kísérlet módszertanához, és a levont következtetések kontextusához. Az esszéírást agyi aktivitás szempontjából vizsgálni csak akkor értelmes, ha tisztázzuk: a »nagyobb aktivitás« nem feltétlen jelent egyúttal »jobb gondolkodást« is. Ahogy a térkép sem azonos a tájjal, úgy az EEG-görbék sem automatikusan adják vissza a szellemi teljesítményt. Emellett maga a tanulmány is elismeri, hogy „az eredmények előzetesek, további vizsgálatokra szorulnak” – és még nem is esett át a tudományos lektorálás folyamatán (Your Brain on ChatGPT, 2024, 14. oldal).
A tanulmányt kritizáló elemzések rámutatnak: nem feltétlenül elbutulást, hanem egy egészen másfajta mentális folyamatot láthatunk mögötte. Az egyik legmarkánsabb értelmezés szerint amikor valaki a ChatGPT-t használja, az nem a saját feladatmegoldási képességét váltja ki, hanem egy munkamegosztási folyamatba lép be – hasonlóan ahhoz, amikor valaki egy munkatársat kér meg egy részfeladatra. A felhasználó ilyenkor utasítást ad (promptol), visszajelzést kap, majd mérlegel: elfogadja, módosítja vagy elveti az eredményt. Ez a működésmód nem a gondolkodás hiányára, hanem annak »szerkezetváltására« utal: a figyelem és a mentális energia nm a kivitelezés, hanem az irányítás, értékelés és finomhangolás felé tolódik el. Vagyis a gondolkodás folytatódik – csak éppen az agyban nem ugyanott és nem úgy, mint korábban.
A tanulmány több ponton is állításokat tesz arról, hogyan befolyásolja a ChatGPT a gondolkodást. A szerzők szerint »a ChatGPT-t használó részvevők következetesen alacsonyabb értéket mutattak neurális, nyelvi és viselkedési szinteken« (4. oldal), valamint az általuk írt esszékből kevesebbre emlékeztek később. Az egyik legfeltűnőbb adat: »a ChatGPT-t használó csoport 83%-a nem tudott pontosan visszaemlékezni az esszéje tartalmára, szemben a kontrollcsoport 11%-ával« (6. oldal). Ezek az adatok valóban figyelemfelkeltőek, de értelmezésükből hiányzik az a kontextus, hogy az AI-használat természetszerűen más munkafolyamatot hoz létre, mint a kizárólagos emberi alkotó folyamatok.”