„Én csak azt teszem, amit az algoritmus mond” - beszégetés David Gray-vel

A Fourth Amendment in the Age of Surveillance című könyvében egy „megfigyelő állam” kifejlődését vizionálja. El tudná magyarázni, hogy mi a „megfigyelő állam” lényege, illetve azt, hogy honnan ered és milyen veszélyeket rejt?

A 21. századi „megfigyelő állam” egy olyan visszatérő kihívás, amelynek hátterében két jelenség áll: egyfelől a végrehajtó hatalom terjeszkedési szándéka, másfelől pedig az a technológiai fejlődés, amely erre a hatalmi terjeszkedésre lehetőséget biztosít. Ilyen a végrehajtó hatalom természete, de ez nem feltétlenül rossz. E működési sajátosságból fakad, hogy a végrehajtó hatalomhoz tartozó szervek egyre nagyobb hatalomra, illetve egyre kiterjedtebb hatáskörökre tartanak igényt a biztonság és a társadalmi ellenőrzés előmozdítása érdekében. Az erre irányuló törekvéseiket pedig úgy igazolják, mint amelyek szükségesek a valós vagy vélt vészhelyzetek elhárításához. A kormányzás egyik legnagyobb kihívásának az számít, hogy hogyan lehet korlátokat szabni a végrehajtó hatalom elé.

Természetesen ez nem egy egyszeri kihívás, ugyanis a végrehajtható hatalom minden generációváltás során új technológiai lehetőségekkel bővül. Például a 18. század végén és a 19. század elején a katonai jellegű egyenruhás rendőrség megszervezése jelentette a kihívást. Angliában rendkívül nagy vita volt arról, hogy bevezessék-e ezt a kontinentális modellt. Az angolok végül elvetették ezt a rendszert, és az ő szkepticizmusukat örököltük mi is itt, az Egyesült Államokban.

Melyek a „megfigyelő állam” jelenkori kihívásai?

A huszadik század során ugyanez a kérdés bukkant fel ismét. A lehallgatási technológiáknak köszönhetően az állam új megfigyelési eszközökkel gazdagodott. Az alkoholtilalom, a hidegháború, a polgári jogi mozgalmak miatti korlátozások, valamint a kábítószer ellen meghirdetett háború pedig a lehallgatási technológiák széles körű felhasználásának hivatkozási alapjául szolgált. Az Egyesült Államok Legfelső Bírósága alkotmányjogi korlátokat határozott meg ezzel kapcsolatban, majd pedig ezt követően a Kongresszus több törvényben is szabályozta a kérdést.

A 21. században olyan technológiai fejlődésnek vagyunk a tanúi, amelynek köszönhetően sokkal egyszerűbbé válik a rendészeti és titkosszolgálati szervek számára, hogy egyfelől közvetlenül megfigyelhessék és nyomon követhessék az embereket, másfelől pedig összesíthessék az így nyert adatokat. A végrehajtó hatalom szervei pedig a terror elleni háborúra, a kábítószer, illetve a jogellenes bevándorlás elleni küzdelemre hivatkozva diszkrecionális hatásköröket igényelnek e technológiák felhasználhatóságát érintően. Ennek eredményeként azzal a kihívással kerülünk szembe, hogy

A törvényhozó és a bírói hatalmi ágak feladata, hogy a demokratikus rend megőrzése céljából az önkényes és visszaélésszerű hatalomgyakorlást ellenőrzésük alatt tartsák.

Samuel Alito legfelső bírósági bíró fogalmazott úgy, hogy a számítástechnikát megelőző időkben a magánszféra védelmét leginkább technikai akadályok, nem pedig a törvények biztosították. Ennek fényében lehet egyáltalán a digitális korszakban a magánszféra védelméről beszélni?

A magánszféra még a digitális korszakban is megillet bennünket. Igaz ugyan, hogy hacsak nem toboroznak népes besúgótábort, ahogy azt az NDK-ban vagy a szovjet blokk más országaiban láthattuk egykoron, az egyéni lehallgatások nehézkessége valóban gátat szab a kiterjedt megfigyelésnek. Ugyanakkor érdekes párhuzamot látok a Samuel Alito bíró által megfogalmazottak és a lehallgatási technológia 20. századi fejlődése között. Az elmúlt évszázad közepére a mindennapi kommunikáció részévé vált a telefon, de megjelentek a lehallgatására alkalmas technológiák is. Az USA Legfelső Bíróságának 1928-as döntése alapján korlátlan lehetőség nyílt e technológiák felhasználására, ami egy megfigyelő állam kiépülésével fenyegetett. Ezt a kérdést a bíróság 1967-ben gondolta újra, és a magánszféra erősebb védelmét írta elő, melynek nyomán a Kongresszus a lehallgatási technológiák felhasználását korlátozó törvényt fogadott el. Vagyi Samuel Alito bíró észrevétele helytálló, de

A GPS vagy cellainformációs adatok segítségével a rendőrség a fizikai értelemben vett követés nélkül is bárkinek megfigyelheti a mozgását. Ez nemcsak a magánszféra védelmére, hanem a demokratikus rendre is veszélyt jelent. Az alkotmánybíróságok előtt álló kihívás az, hogyan teremthetnek egyensúlyt az egyén szabadsága, valamint a biztonság iránti igény között.

Hogyan hat minderre az a közösségi média, amelynek köszönhetően még modern nyomkövető technológiákra sincsen szükség ahhoz, hogy sok ember életébe betekintést lehessen nyerni?

Nagyon érdekes kérdéseket vetnek fel az olyan új terek, mint a Facebook, a Twitter és mások. Vajon ezek tényleg közterek? Vagy inkább olyanok, mint a saját otthonaink? Vagy esetleg olyanok, mint a szalonok vagy templomok, illetve más olyan helyek, amelyek központi szerepet játszanak a civil társadalmakban? Vagy pedig valami teljesen újnak és példa nélkülinek tekinthetők? Az amerikai alkotmányhoz fűzött negyedik kiegészítés az eredeti értelme szerint azért védte az „otthont”, valamint az „iratokat”, mert ez jelentette az akkori kor „közösségi médiáját”. Egyértelmű kapcsolatot láttak ugyanis az indokolatlan „kutakodásokkal” és „vizsgálódásokkal” szembeni alkotmányjogi védelem, valamint az olyan politikai jogok gyakorlása, mint például a választójog és a gyülekezéshez való jog között. A huszadik században olyan új technológiák váltak népszerűvé, mint a telefon, a rádió és a televízió. Ezek egyfelől új „tereket” biztosítottak a civil társadalom virágzásához, másfelől viszont megfigyelési lehetőségeket is teremtettek az államnak. A Kongresszus és a bíróságok erre válaszként az új „terek” egy része tekintetében korlátozták a megfigyelés lehetőségét, míg mások vonatkozásában szélesebbre tárták az állam ellenőrzési hatásköreit. Ugyanakkor hangsúlyozom, hogy ezek a döntések nem kizárólag a magánszféra védelméről szóltak, hanem a szabadság és a biztonság iránti igények közötti helyes egyensúly megteremtésének, valamint az alkotmányos rend megóvásának a sokkal alapvetőbb kérdéseiről.

A közösségi médiaplatformokról is hasonlóképpen szükséges gondolkodnunk. Ennek megfelelően meg kell vizsgálnunk ezeknek az új „tereknek” a személyiség kibontakoztatásában, a civil társadalomban, valamint a politikai beszédben játszott szerepeit.

nem pedig fordítva. Úgy látom, hogy az amerikai Legfelső Bíróság kezdi figyelembe venni ezeket az érveket, és éppen ezért mutatnak rá a politikai, a vallásszabadsággal kapcsolatos és a demokratikus normákra olyan ügyekben, amelyek GPS alapú, valamint cellainformációs nyomkövetésről szólnak.

Az új technológiák fejlődése ugyanakkor az algoritmikus döntéshozatal térnyerését is maga után vonta. Észtországban például már a „robotbírók” bevezetésén dolgoznak. Milyen veszélyeket rejt az algoritmikus döntéshozatal, valamint a mesterséges intelligencia ezeken a területeken?

Ezeknek a technológiáknak a felhasználása egy tökéletesebb biztonság és tökéletesebb társadalmi ellenőrzés megteremtését ígéri. Az algoritmikus döntéshozatalt érintően azonban több kérdés is vizsgálható. Ezek közül az első, hogy a Big Data-t, az algoritmikus elemzést és döntéshozatalt vajon az amerikai alkotmány negyedik kiegészítése szerinti korlátozás alá kell-e vonni. A könyvemben arra a következtetésre jutok, hogy egyértelműen ilyen alkotmányjogi korlátozás alkalmazandó. Az ilyen technológiák alkalmazása ugyanis „kutakodásnak” minősül. Ennél fogva használatukat alkotmányjogi korlátok közé kell szorítani. Nehezebb kérdés, hogy pontosan milyen szabályokat kellene rájuk alkalmazni. Az amerikai bíróságok a legtöbb esetben az úgynevezett „bírói parancs” követelményét alkalmazzák. Ennek megfelelően, ha egy rendőrtiszt házkutatást kíván foganatosítani, akkor először független bíró által hozott bírói parancsot kell beszereznie. Ugyanezt az eljárást kell követnie a nyomozónak, ha cellainformációs adatokhoz kíván hozzáférni. Ez a módszer azonban teljesen elveszi e technológiák alkalmazásának az értelmét, mivel esetükben nem lehet minden egyes alkalommal bírói parancsért folyamodni: a Big Data értelme éppen az, hogy bizonyos értelemben folyamatosan „fut a háttérben”.

Az algoritmikus döntéshozatal mellett szóló érv, hogy az valójában az államhatalom önkényes gyakorlásának a korlátozását szolgálja, amikor az eljárásokban kiküszöböli az emberi mérlegelést. Azt várják például tőle, hogy képes megszüntetni a faji alapú előítéleteket. Sajnos azonban a technológia mégsem váltotta be a hozzá fűzött reményeket, mivel működése olyan adatokon alapszik, amelyekbe beépültek az algoritmus készítőinek tudatos vagy tudatalatti előítéletei is.

Az algoritmikus döntéshozatal másik problémája az, hogy elfojtja a kritikus gondolkodást.

Ezért hajlamosak vagyunk automatikusan az eredményeikre hagyatkozni, és éppen úgy, ahogyan Hanna Arendt megfigyelése szerint a bürokraták alávetik magukat a bürokratikus szabályoknak. Úgy gondolom, hogy kevés megrázóbb kifogás van annál, minthogy „[é]n csak a munkámat végzem.” Az algoritmusok alkalmazása pedig ennek a hivatkozásnak csak egy újabb fajtáját kínálja: „én csak azt teszem, amit az algoritmus mond.”

Néhány szakértő arra az álláspontra helyezkedik, hogy az új technológiák elterjedése gyökeresen meg fogja változtatni a bűnüldözés hagyományos szerepét. Hogyan látja ezt a fejlődési ívet, és mindez milyen veszélyeket hordoz magában?

Ez egy remek kérdés. A veszélyek itt is hasonlóak az előbbiekben vázoltakhoz. Vegyük a „No Fly List” [az Egyesült Államok által meghatározott légi utazásból kitiltott személyeket tartalmazó lista] példáját. Szinte lehetetlen bárkinek is megtudni, hogyan és miért került rá arra a listára. Ehhez hasonlóan szintén lehetetlen a tévesen listára kerültek számára, hogy a listáról lekerüljenek. Ennek eredményeként pedig ezernyi olyan állampolgár van, akiket tévesen, potenciális fenyegetésként azonosítanak, és akik aztán képtelenek ezen a helyzeten változtatni.

Szintén rendkívül fontos, de ezekben a vitákban sajnos gyakran elveszik mindennek a valódi emberekre gyakorolt hatása. Vegyük példaként az arcfelismerő rendszerek alkalmazását. Ennek a technológiának az a célja, hogy azonosítson és feltartóztasson olyan veszélyes embereket, mint például, akik ellen elfogatóparancs van érvényben. Sajnos azonban ez az adatbázis hírhedten megbízhatatlan.

Ez az arány pedig csak növekedni fog az arcfelismerő rendszerek alkalmazásával.

A biztonság iránti igény és a bűnmegelőzés nevében tehát egy olyan hibás technológiát akarunk alkalmazni, amely megbízhatatlan adatbázist használ. Az pedig még ennél is aggasztóbb, hogy az afroamerikaiak tekintetében téves eredményekre vezet részben azért, mert képtelen megkülönböztetni őket egymástól Vagyis korántsem egy olyan „orákulum”, amiben bízhatunk.

[A magyar verzió az angol nyelven elérhető interjú rövidített, szerkesztett változata.]