Olcsó játék

2021. június 17. 10:08

Ha a tudomány sokféle, és kétségtelenül az, akkor a tudományos teljesítmény értékelésének is sokfélének kell lennie. Válasz Tóth János kijelentéseire.

2021. június 17. 10:08
Zsoldos Attila
Vendégszerző

Zsoldos Attila kutatóprofesszor (Történettudományi Intézet, Bölcsészettudományi Kutatóközpont, Eötvös Loránd Kutatóhálózat) írása
 

Érdeklődéssel olvastam a mandiner.hu felületén 2021. június 14-én Tényleg ez lenne a magyar tudomány „aranycsapata”? – Tóth János kommunikációkutató a Mandinernek címmel közzétett interjút. 

A beszélgetés jelentős része annak a kutatásnak az eredményei körül forgott, melyet Tóth János és Demeter Márton folytatott le számos „társadalom- és humántudományos intézet” kutatóinak publikációs szokásait vizsgálva. Az interjú során szó esett még különféle egyéb kérdésekről is, melyek bizonyára szintén igen izgalmasak, figyelmemet azonban elsősorban az említett vizsgálattal kapcsolatos részek keltették fel. A szöveget olvasva ugyanis egyszeriben újra 2018 nyarán találtam magam, amikor hasonló hangvételű írások sorozata ágyazott meg a Magyar Tudományos Akadémia kutatóhálózatáról az egy évvel később meg is hozott ismert döntéseknek, s nehéz felmérni, hogy a mostani cikk még az akkori kampány némi lemaradásban lévő, utolsó tagja-e, vagy esetleg egy újabb előhírnöke.

Az említett vizsgálat a tudománymetria eszközeivel folyt, így aztán az interjúban szó esik a Scopusról, az MTMT-ről, Q1-es cikkekről és effélékről, a mandiner.hu olvasói azonban semmiféle segítséget nem kapnak ezek értelmezéséhez. Nem is meglepő ez, hiszen roppant tudományosan festenek, s így kellőképpen alkalmasak a tájékozatlan, s ezért gyanútlan olvasó előtt azt a látszatot kelteni, hogy az érintett intézetek kutatóinak „a régiós informalitásoktól biztosan független nemzetközileg értékes teljesítmény”-e elenyészően csekély, többségük „nemzetközileg láthatatlan marad”, indokoltan merülhet fel tehát a gondolat: „ne költsünk közpénzt arra”, hogy egy ilyen gyenge teljesítményt nyújtó „állományt fenntartsunk”. Ez utóbbi megjegyzés a tudományosnak szánt vizsgálatot bemutató cikkből hiányzik, a mandiner.hu-n megjelent interjúban viszont szerepel, ami érthető, hiszen a kutatás eredményeit közre adó lapnál vélhetően többen olvassák a mandiner.hu-t, azok közül, akikben ez a gondolat döntéseket érlelhet meg, bizonyosan.

Elég baj az, mert a kutatás téves alapfeltevésből indul ki, rossz módszertant alkalmaz, erősen kétes értékű adatokat használ fel, így állítólagos eredményei használhatatlanok. Bármire.

Mielőtt érvelnék fenti állításaim mellett, előrebocsátom, hogy nem áll szándékomban valamennyi érintett intézet ügyeivel foglalkozni. Egyedül a Bölcsészettudományi Kutatóközpont Történettudományi Intézetére térek ki, amit két körülmény indokol. Egyrészt azt ismerem a legjobban, ami nem meglepő, hiszen ott dolgozom, másrészt ezt az intézetet szembetűnően gyakran emlegeti a nyilatkozó hol név szerint, hol név nélkül, de akkor is jól felismerhetően. A jelenség oly feltűnő, hogy már-már személyes érintettségre gondol az ember.

Téves alapfeltevés

Tóth János és Demeter Márton kutatása során egy magyar (Magyar Tudományos Művek Tára, MTMT) és egy nemzetközi (Scopus) bibliográfiai és tudománymetriai adatbázist használt fel, minden jel szerint abban a hiszemben, hogy a belőlük nyert adatok alapján következtetni lehet a „nemzetközileg értékes teljesítményre”.

Az MTMT valóban viszonylag jól lefedi a magyar tudományos kutatók körét, dolgozzanak bár kutatóintézetben, egyetemen vagy máshol, a Scopus azonban, mely a holland alapítású tudományos könyv- és lapkiadással foglalkozó Elsevier szolgáltatása, elsősorban a kiadó saját lapjait dolgozza fel tudománymetriai szempontból, valamint azokat a — főként angol nyelvű — folyóiratokat, amelyeket a maga üzleti szempontjait követve erre érdemesnek tart.

A magyar történettudomány túlnyomórészt magyar nyelvű folyóiratai jellemzően nem tartoznak ezek közé. A Scopus alapján megbízható képet alkotni tehát a magyar történészek, köztük a Történettudományi Intézetben dolgozók teljesítményéről nem lehet. A helyzet nem is igen fog megváltozni, mivel a történettudományban erősen él az a meggyőződés, hogy egy tudományos publikáció önmagában értékes (vagy értéktelen), függetlenül a publikálás helyétől, amit viszont szakmámban nem egy folyóirat feltételezett presztízse szerint szokás kiválasztani. Attól pedig végképp idegenkedik a történettudomány, hogy egy folyóirat vélelmezett presztízsét rávetítse az abban megjelent tanulmányra pusztán azért, mert statisztikai valószínűségek erre lehetőséget kínálnak. Merthogy lényegében erről van szó: a Q1-es minősítés valójában a folyóiratot illeti meg, a benne közölt írás viszont már megjelenése pillanatában megkapja ezt az elismerést, aztán a későbbiekben vagy igazolja a megelőlegezett bizalmat vagy nem, az már nemigen szokott érdekelni senkit.

A magyar történészek igen nagy többsége a magyar történelemmel foglalkozik. Lehet ezt a tényt, persze, az önmagunkba zárkózás, a nemzeti keretek meghaladására való képtelenség, egyszóval a magyar ugar provincializmusa jelének tekinteni, csak nem érdemes. Ehhez ugyanis figyelmen kívül kellene hagyni azt az egyszerű igazságot: nincs is annál magától értetődőbb, mint hogy egy magyar történész a magyar történelemmel foglalkozik. Ki más tenné? Mindig akad ugyan a nagyvilág egy-egy távoli pontján néhány kolléga, aki nem tud ellenállni a számára egzotikusnak tűnő magyar világ csábításának, kevesen vannak azonban ahhoz, hogy a kívülálló mindig megfontolásra érdemes szempontjainak megfogalmazásán túl több is várható lenne tőlük. Szűkebb földrajzi környezetünkben, természetesen, gyakrabban fordul elő, hogy a magyar történelemmel nem magyar kutató is foglalkozik, az ő munkáikat olvasva azonban gyakran akkor is nehéz ráismerni arra, hogy voltaképpen a magyar történelemről volna szó, ha szemmel látható erőfeszítéseket tesznek annak érdekében, hogy megmaradjanak a történettudomány keretei között. 

Tanácsos továbbá szem előtt tartani, hogy a magyar történészek számára elsősorban a Kárpát-medence és annak közvetlen környéke jelenti a nemzetközi terepet. Hogy miért, annak belátásához egy sikerrel letett történelemérettségi elegendő lehet, s akkor az is világossá válik, miért működtetek egy intézeti kollégámmal közösen tudományos könyvsorozatot Nagyváradon, melynek kötetei már románul is megjelennek. Az, hogy a történelem nemzeti tudomány, nem valamiféle, a felkészültséget leplezni hivatott kifogás, hanem a valóság, s nemcsak Közép- vagy Kelet-Európában. Ebből fakad, hogy a magyar történelem tanulmányozásának nemzetközi nyelve, hangozzék bármilyen furcsán is, a magyar. Ebben csak itthon szokás kételkedni, Szlovákiában például a történelem szakos egyetemi hallgatók számára a magyar jó ideig kötelező idegen nyelv volt (s talán az még ma is). 

Rossz módszertan

A tudománymetria legfőbb terhe, ahogy én látom, hogy miközben zászlaján lángoló vörös betűkkel olvasható a minőség felirat, a gyakorlatban mégis különböző, ötletes eljárásokkal előállított mennyiségeket kénytelen számolgatni.

Az ellentmondás feloldhatatlan, az élét azonban lehet éppen tompítani. Tudománymetriai elemzés kizárólag akkor vehető komolyan, ha a lehető legtöbb fajta adatot használja fel, hogy képes legyen a teljesítményt a maga sokszínű valóságában megragadni, s így megalapozott következtetéseket levonni. Az egyetlen tudománymetriai elemre korlátozott „elemzés” mindig felveti a gyanút, hogy kizárólagos szerepe a már kész következtetés megtámogatása, kiváltképp akkor, ha sikerül a vizsgálat tárgyához a legkevésbé illő elemet kiválasztani, mint történt az esetünkben is.

A Q1-es cikkek emlegetése az interjúban ugyanis az élet- és természettudományokra jellemző publikálási stratégiát kéri számon a történészeken, teljesen figyelmen kívül hagyva a tudományterületek között meglévő alapvető különbségeket. Ez eredményezi azt, hogy amikor kizárólag a folyóiratok feltételezett presztízsértékeit figyelembe véve teszi mérlegre az én 2014 és 2018 között nyújtott tudományos teljesítményemet a Demeter–Tóth szerzőpáros, az ezen években megjelent munkáim 90,8%-át egyszerűen figyelmen kívül hagyja, miközben mégis teljesítményem egészéről alkot, ámbár megalapozatlan véleményt. Pedig magyar nyelvű írásaimra is érkeznek szép számmal hivatkozások külföldi (és nem magyar) kutatók munkáiban, ami elegendő bizonysága annak, hogy a „nemzetközi láthatóság” kérdése valamivel összetettebb, mint azt a szerzőpáros feltételezi.

Erősen kétes értékű adatok

Az interjúban Tóth János azt állítja, hogy a tudományosnak szánt közleményükre „a közösségi médiában finom kritikát” kaptak ugyan, „de ennyi, az adatokat nem vonta kétségbe senki”.

Bizonyára így is van, nem vitatom, ám ez a helyzet most változni fog. A saját lapjukban közölt cikk végén ugyanis, ezt sem hallgatja el az újságíró kérdésére válaszolva, „személyre, MTA-intézetre, beosztásra lebontva” közzétették a nyers adatokat is. Ez talán hiba volt, érdemes lett volna jogásszal konzultálni a kérdésben, mindenesetre lehetőséget ad arra, hogy ellenőrizzem a rám vonatkozó adatok helyességét.

Esetemben figyelembe vettek két közép- és kelet-európai regionális kontextusban értékelhető publikációt, egyéb (Q1–4-es cikk vagy könyvfejezet) semmi. Megpróbáltam azonosítani a két szerencsés publikációmat, de nem jártam sikerrel. Az egyik a Historický Časopisban 2015-ben megjelent tanulmányom lehetne, csakhogy az írást közlő folyóirat a publikálás időpontjában, láss csodát!, Q2-es minősítéssel rendelkezett, így abban a rovatban kellene a tanulmánynak szerepelnie, ám ott semmi nyoma. Ha mégis ez lenne az egyik, elvégre a Szlovák Tudományos Akadémia Történettudományi Intézetének folyóiratáról van szó, azaz közép-európai regionalitása vitathatatlan, akkor is talány, mi lehet a másik. Nyilván nem a Romániában — tanulmánykötetekben és románul — megjelent tanulmányaimról van szó, mert azokból a vizsgált időszakban három jelent meg. Nem nagyon lehet a Melanges de l’Ecole Francaise de Rome 2017. évi évfolyamában megjelent írásom sem, mert a római francia intézet folyóiratát nehéz lenne közép-európai érdekeltségűnek tekinteni, bár kitudja, kezdek elbizonytalanodni. Akkor már mégis inkább egy szlovák tanulmánykötetben közölt írásom jöhetne szóba, de még mindig válaszra vár a könyvfejezet rovat üressége, jóllehet a német Leibniz-Institut für Ost- und Südosteuropaforschung egyik kézikönyvének online kiadásában 2016-ban megjelent egy általam írt fejezet.

Azért untattam a mandiner.hu olvasóit a magam publikációival, mert a saját adataim felett én rendelkezem, mindazonáltal intézeti kollégáim mindegyike fűzhetne hasonló észrevételeket a felhasznált adatokhoz, mivel „ez, ahogy most van, ez gáz. Nagyon gáz”.

Bizonyára szórakoztató elfoglaltság tudománymetriai adatokkal játszani, de játszani, amint az köztudott, csak komolyan érdemes, így a szakszerűséget a tudománymetria területén sem tanácsos mellőzni. A tanulság legfeljebb az lehet: ha a tudomány sokféle, és kétségtelenül az, akkor a tudományos teljesítmény értékelésének is sokfélének kell lennie. Minden más olcsó játék…

                                                                                                     

Kapcsolódó cikkek

Összesen 153 komment

A kommentek nem szerkesztett tartalmak, tartalmuk a szerzőjük álláspontját tükrözi. Mielőtt hozzászólna, kérjük, olvassa el a kommentszabályzatot.
Sorrend:
tothjanj
2021. július 12. 19:27
https://mandiner.hu/cikk/20210712_meg_egyszer_a_tudomanyos_munka_mereserol
Palepoli
2021. június 18. 09:13
Ha az alapadatokat megnézzük, valóban egyre több hibára derül fény. Emerituszok, adminisztratív munkaerő szerepeltetése, figyelmen kívül hagyott publikációk. Az egyetlen becsületes megoldás a cikk visszavonása. Véletlenszerű példa: Fülöp Izabella 2017 augusztusától van a Nemzetpolitikai Kutatóintézetben, BsC fokozatát 2017-ben szerezte. Nyilván kutatásszervező. Ő miért szerepel kutatóként?
KeKoP
2021. június 17. 23:58
(obviuos - hogy nemzetki = (obviuos - hogy nemzetközi legyek)
KeKoP
2021. június 17. 23:57
"általunk fontosnak tartott, és emellett közérdekű" Na itt a csúsztatás. Nem is akármekkora. Ti fontosnak tartjátok. És akkor mi van? Teljesen érdektelen és irreleváns egy bölcsésznek, hogy ti mit tartatok fontosnak, mert nem értetek ahhoz, amiről írtatok. Közérdek, az rendben van. De nem a ti mércétekkel kell mérni, mert az arra alkalmatlan, amire használtátok. Ha nem vagy hajlandó érdemben vitatkozni egy közéleti híroldalnak adott interjú kommentjeiben (a Mandiner fóruma nick-et használ, nem pedig pl. Facebook profilt, tehát pontosan tudnod kellett, hogy itt nickekkel állsz majd szemben), akkor miért lenne elvárásod, hogy érdemben foglalkozzanak a nyilvánvalóan, magától értetődően (obviuos - hogy nemzetki ostobaságokat összehordó interjúval és cikkel? Vásárra vitted a bőröd a Mandineren, most pedig ilyen álságos módon takarózol? Na, ez már a harmadik nagy ciki a témában. Egyáltalán miért kellene elhinni bárkinek is, hogy a tothjanj nick mögött valóban az interjúalany áll? Hidd el, én tényleg értem, mit akarsz mondani. Sok léhűtő nulla teljesítménnyel osztja az észt a pozícióikban. Világos. Részben egyet is értek vele. Részben én is kárvallottja voltam ennek. De, könyörgöm! Hidd már el, hogy a módszer, amit választottatok alkalmatlan! Ezzel inkább kinevettetitek magatokat, lejáratjátok magatokat és méginkább megerősítitek a pozíciósok helyzetét, tehát totál kontraproduktív az egész! Hiába kötöd az ebet a karóhoz, nincs igazatok. Inkább további kárt okoztok minden jó szándékotok ellenére.
Jelenleg csak a hozzászólások egy kis részét látja. Hozzászóláshoz és a további kommentek megtekintéséhez lépjen be, vagy regisztráljon!

Ezek is érdekelhetik