Mi a baj a Freedom House jelentésével?

A napokban látott napvilágot a Freedom House jelentése, amelynek értelmében Magyarország – a demokrácia állapotát tekintve – a legrosszabbul teljesítő uniós tagállammá vált.

A hír hallatán szinte automatikusan, belülről tör fel az emberből azonnal a gondolat, hogy itt valami súlyos turpisság lehet, hiszen ez az eredmény bizonyosan nem állhatja meg a helyét egy olyan Európai Unióban, ahol például egy hivatalban lévő miniszterelnök az országban élő őshonos kisebbség felakasztásáról értekezik, illetve ahol egy korrupciós ügyeket vizsgáló újságírót pokolgépes merénylettel gyilkolnak meg..

Szóval, elsőre is elég egyértelműnek tűnik, hogy itt valami nincs rendben, ami különösen annak fényében fájó, hogy a Freedom House a tudományos világban korábban, a harmadik világbeli országok helyzetének megállapításával összefüggésben egy hiteles forrás volt.

Az is elég egyértelmű, hogy a szervezet finanszírozásában komoly részt vállaló milliárdos – aki éppen háborúban áll a magyar kormánnyal (és viszont) – befolyása vagy befolyásának látszata bizonyosan nem tesz jót a jelentés hitelességének. De ez az írás nem erről szól, nem ezt az érvet szeretné kidomborítani.

Ugyanis a Freedom House jelentése egy állatorvosi ló.

Állatorvosi ló, amelyik szépen példázza, hogy mi a probléma ezekkel a rangsorokkal és jelentésekkel, s miért kell megfelelő helyiértéken kezelni őket. Nemzetközi mutatót készíteni nagyon könnyű, nagy médiavisszhangot mögé rakni még könnyebb, de módszertani szempontból is megalapozott, hiteles rangsort felállítani annál nehezebb.

Mert mi is a baj a nemzetközi szervezetek által készített mutatókkal?

Nem szép dolog önreklámmal kezdeni, de itt mégis muszáj: a Századvég Alapítvány már 2016-ben, egy hiánypótló tanulmányban vizsgálta az egyes nemzetközi rangsorok, mutatók sajátosságait. Az elemzés általában írt a mutatók módszertani hiányosságairól és külön vizsgálta a Freedom House: Nations in Transit 2016-os jelentését. Bár a két mutató nem feleltethető meg egy az egyben egymásnak, mégis érdemes most alaposabban is górcső alá venni mind a kettőt, már csak a szembeötlő módszertani hasonlóságok és a meglévő hiányosságok közötti párhuzam okán is.

A Freedom House-éhoz hasonló nemzetközi mutatók kritikai vizsgálata jól kutatott terület a nemzetközi szakirodalomban. A Századvég-tanulmány részletesen is bemutatja a vonatkozó szakirodalmat.

Ezek közül is vegyük előre az indexeket és jelentéseket összeállító szervezetek értékvállalásával kapcsolatos észrevételeket. Általában igaz ugyanis, hogy ezek a szervezetek maguk sem értéksemlegesek, hanem valamilyen ideológiai háttérből fakadó módszertan mentén értékelik az egyes országokat. Ennek ellenére olyan tekintélyt vagy autoritást alakítottak ki maguknak, amely miatt ezek a szervezetek hiteles és objektív ítéletalkotóknak tűnnek a szélesebb közvélemény körében. Egyes kutatók azt is megjegyzik, hogy ezen szervezetek gyakran köthetőek egy-egy politikai erőközponthoz. Mindez természetesen önmagában nem probléma, de az már igen, hogy a szervezetek a semlegesség látszatának fenntartása miatt ezen politikai preferenciáikat nem exponálják. Jó példa erre a nemrég kirobbant kisebb botrány, amikor is Világbanknak kellett bocsánatot kérnie, mert politikai nyomásgyakorlásra használta versenyképességi mutatóját. Chile versenyképességi mutatói ugyanis irreális mértékben csökkentek akkor, amikor baloldali kormány volt hatalmon.

Az értéksemlegesség hamis álcája mellett a nemzetközi irodalom ismertet konkrét módszertani hiányosságokat is, amelyek általánosságban jellemzik ezeket a mutatókat. Egyfelől, amikor egy index olyan elvont alapelvekkel, fogalmakkal operál, mint a demokrácia vagy a versenyképesség, akkor eleve nincs elfogadott definíció arra vonatkozólag, hogy mik ezen elvont fogalmak empirikusan mérhető jellemzői. Így a mérési szempontok kiválasztása már eleve önkényes és értékítéletet foglal magában. Ennél még nagyobb probléma, hogy az egyes mutatókat készítő intézmények miképpen választják ki a méréshez használt adatokat. A szelekció során is jelentkezhet ugyanis előítéletesség. Különösen igaz ez azokra az esetekre, amikor nem konkrét mérésen alapuló, esetleg nyilvánosan elérhető adatok alapján dolgozik egy-egy intézet, hanem szakértői vélemények és értékelések – menthetetlenül szubjektív – szempontjai mentén alakul ki egy-egy mérőszám. Még nagyobb probléma, hogy a meglévő adatokat milyen módszerek szerint aggregálják. Az eltérő aggregációs módszereknek köszönhetően extrém esetekben az is megtörténhet, hogy az elméletileg ugyanazt mérő, sőt, nagyjából ugyanolyan adatokkal is operáló nemzetközi mutató teljesen más eredményt hoz ki ugyanazon ország esetében. Másrészt – állapítja meg a szakirodalom – az aggregálás során keveredhetnek az objektív és szubjektív adatok, ezzel gyengítve a kész mutatószám objektivitását és hitelességét.

Mivel a Századvég által is elemzett Nations in Transit és a Freedom in the World módszertana nagyban hasonlít egymásra, érdemes ide idézni a Századvég tanulmánya által az előbbiről tett megállapításokat. A legszembetűnőbb körülmény, hogy egy-egy országról, így a Magyarországról szóló jelentést is egyetlen személy (!!!) készítette el. Ezt a jelentést ugyan felülvizsgálhatja egy bíráló bizottság, azonban ilyen felülvizsgálatnak nincs nyoma. A 2016-os jelentés – amely értelemszerűen a 2015-ös évet elemezte – ezen túlmenően főleg baloldali magyar sajtóban megjelent cikkek alapján értékelte a magyar demokrácia állapotát.

Az egy szem szerző a felhasznált sajtóhivatkozások segítségével összeállt helyzetkép alapján értékelte Magyarországot, amely értékelését konkrét pontokra, tehát mérőszámokra váltja. Itt jól tetten érhetőek az indexekkel kapcsolatos általános kritikák. Egyfelől a Freedom House demokráciafogalma finoman szólva sem egzakt, másrészt akárhogy szépítjük, mégis csak arról van szó, hogy egyetlen szakértő szubjektív megítélése alapján áll össze a jelentés. (Arról nem is beszélve, hogy még tárgyi tévedés is szerepel a 2016-os jelentésben: a szerző által elemzett „tömeges bevándorlás okozta veszélyhelyzet” elnevezése valójában „tömeges bevándorlás okozta válsághelyzet”.)

Most térjünk rá az aktuális jelentés vizsgálatára! Nem segíti az átláthatóságot, hogy a Freedom in the World módszertana kevésbé részletesen érhető el a Freedom House honlapján, mint a Nations in Transit indexé. Az külön furcsaság, hogy magában a jelentés hivatalos PDF-változatában a módszertanra mutató link hibásan szerepel, azonban kisebb keresgélés után a szervezet honlapján megtalálható a leírás (lentebb részletesen elemezzük). A végül nehezen megtalálható módszertan azonban – ha lehet ezt mondani – még a Nations in Transit módszertanánál is kevésbé követhető. Itt is egy szakértői stáb állítja össze a jelentést, amely vélemény alapján az egyes országok megkapják pontszámaikat. Azonban, szemben a Nations in Transit jelentéssel, itt nem tudható, hogy ki írta az egyes országokról szóló jelentést, és kik a tagjai a felülvizsgálatot végző bizottságoknak.

Ezen cikk megírásakor ráadásul a Magyarországról szóló részletes jelentés még nem érhető el, csak a puszta pontszámok vannak feltüntetve a vonatkozó honlapon. Összehasonlításképpen érdemes megnézni az Egyesült Államokról szóló jelentést, amely viszont már elérhető. Itt is elég súlyosak a hiányosságok. Nem ismerhető meg a jelentés szerzője és nem találhatóak bennük hivatkozások sem, amelyek alapján legalább megközelítőleg megállapítható lenne, hogy milyen események alapján értékelik a szerző(k) az országban zajló folyamatokat.

Annak megállapítására tehát egyelőre esély sincs, hogy milyen okok miatt szerepelt rosszabbul hazánk most, mint korábban. Ebből következően a korábbi jelentésekből vagyunk kénytelenek kiindulni.

Annyi kideríthető, hogy a 2016-17-es év folyamán a Freedom in the World index módszertana felülvizsgálaton esett át. Erre 2002 óta nem volt példa. Az új módszertant ebben az évben használták először. A felülvizsgálat nagyjából 20 globális és regionális szakértő bevonásával történt, amelyben egyetlen magyarként részt vett Bozóki András, a CEU professzora is. A Freedom House állítása szerint a felülvizsgálat nem érintette a metodológia fő struktúráját. Ettől függetlenül kérdésessé válik, hogy mennyiben hasonlíthatóak össze a korábbi adatok az ideiekkel. Az sem derül ki pontosan, hogy a felülvizsgálat következtében miben változott meg pontosan a módszertan.

Mint írtuk korábban, a jelentés minden évben házon belüli és külsős elemzőkkel és tanácsadókkal készül, ezek az akadémiai és think-tank világból, illetve emberi jogi szervezetektől kerülnek ki.

A 2018-as jelentés elkészítésében világszinten ugyan több mint 100 elemző és több mint 30 tanácsadó vett részt, azonban ez a szakértői stáb több mint 195 országra jut, így még az sem igaz, hogy minden országra specializált elemzőt alkalmazna a Freedom House. Egy országra tehát kevesebb mint egy szakértő (!!!) jut a mostani jelentésben.

Az elemzők először minden országról készítenek egy jelentéstervet. A jelentésterv elkészítése során olyan forrásanyagokra támaszkodnak, mint újsághírektől, akadémiai anyagok és a civil szerveztek jelentései. Ugyanakkor a már kész és elérhető országjelentésekben ezeket a forrásokat már nem találjuk meg részletesen felsorolva, sőt, az sem egyértelmű, hogy az adott országjelentést ki vagy kik állították össze. (Ugyan elérhető egy lista az elemzőkről és a tanácsadókról, de az nem derül ki, hogy melyik országjelentésen ki (esetleg kik) dolgoztak.)

Ezt követően regionális értekezletekre kerül sor. Ezen a Freedom House munkatársai mellett részt vesznek a fentebb már említett tanácsadók is. A végleges országpont tehát az elemzők, a tanácsadók és Freedom House munkatársainak a közös konszenzusát fejezik ki. Így maga a szervezet is elismeri, hogy a módszertanban óhatatlanul is megjelenik a munkatársak szubjektivitása.

A jelentés során minden ország 25 indikátor alapján kap 0 és 4 pont között értékelést, így jön ki az összesített 100 pont. Minél magasabb az értékelés, annál szabadabb az adott ország. Egyes kérdéseknél emellett saját belátás szerint lehetséges még egy kérdés beiktatása, amely eszköz alkalmazása a jelentés szerzőjének szubjektív megítélésén múlik. Erről a saját belátás szerinti kérdésről a módszertan csak egy mondatot ír, nem világos, hogy ez pontosan mit mér, melyik országnál és miként alkalmazzák. Mindenesetre ez is komolyan torzíthatja az eredményt.

Ezt lehet tehát tudni a magyar sajtóban szép karriert futó Freedom House-jelentésről.

Hogy ez módszertani, hitelességi szempontból mennyire elégséges, illetve mennyire megnyugtató, a fentiek alapján mindenki meg tudja ítélni...

Nem arról van, hogy alapvető probléma lenne a mutatókkal. Természetes igény, ha szeretnénk visszajelzést kapni arról, hogy milyen irányba tartanak társadalmi folyamataink. Ezeket mérni ugyanakkor nyilván nem könnyű feladat.

Ráadásul szívesen gondolunk úgy a politikai folyamatokra, mint fizikai mozgásokra. Pontosan ezért próbálunk melléjük mérőszámokat társítani. Ez azonban csak nagyon korlátozott keretek között lehet egy sikeres vállalkozás. Ugyanis, amíg a reggeli futás hosszát könnyen közli velünk egy hétköznapi mobiltelefon is, addig a politikai szabadságjogok esetén még a definíciós keret sem egyértelmű.

Éppen ezért érdemes nagyon óvatosan bánni azokkal a mutatókkal, amelyek erre az összetett problémára egyszerű válaszokat kínálnak. Valószínűleg nem minden érdek nélkül teszik ezt, miközben ezt megpróbálják eltitkolni, s az is lehet, hogy így akarják elterelni a figyelmet azokról a hiányosságokról, amelyek az indexalkotási folyamatot jellemzik.