A Google véletlenül sem akar Skynetet, ezért MI-kikapcsolót fejleszt

„Két összetéveszthetetlen oldal csap össze a mesterséges intelligencia jövőjével szóló vitában. A «fellendülés» oldalon álló Google, Facebook, Amazon és Microsoft agresszíven befektet a technológiába, hogy az MI-rendszerek egyre okosabbak legyenek. A «végzet» oldal az MI-t «démonként megidéző» prominens gondolkodókból áll, mint például Elon Musk és Stephen Hawking.

Az egyik legfejlettebb MI kutatócsoport, a Google DeepMind-ja biztonsági intézkedéseket vezet be azokra az esetekre, amikor a működtetőnek irányítás alá kell vonnia a visszafordíthatatlan következményekhez vezető rosszul viselkedő robotot. A visszafordíthatatlan következmények az én olvasatomban nem korlátozódnak emberek megölésére. Persze a tanulmány megközelítőleg sem ennyire apokaliptikus, és gyárakban dolgozó intelligens robotok egyszerű példáit hozza fel.

A megjelent írás a DeepMind és az Oxford Egyetem Emberiség Jövője Intézetének közös munkája. Az intézet neve sugallja, hogy azt akarják: legyen jövője az emberiségnek. Az alapító-igazgató Nick Bostrom évtizedek óta hangoztatja az MI veszélyeit és egész könyveket írt a szuperintelligens robotok következményeiről.

A Biztonságosan megszakítható ágens című tanulmányban leírják, hogyan kapcsolható ki az MI, ha olyat tesz, amit a humán operátor nem akar. A szöveg tele van matematikai példákkal, amiket 99 százalékunk soha nem fog megérteni, lényegében azt írják le velük, hogy hogyan építsük be az MI-be a pimaszul hangzó «nagy piros gombot.»

A kutatók ugyanazokat a filmeket látták, amiket önök. Tudják, amikor a robot megtanulja ignorálni a «kapcsolj ki» utasítást. Felkészültek rá.

«A tanulmány feltárja, hogy a tanuló ágens hogyan ne tanulja meg soha megakadályozni, hogy a környezete vagy a humán operátor félbeszakítsa tevékenységét.»

Ha figyelembe vesszük az eddigi legmeggyőzőbb MI eredményt, hogy tényleg jó a táblás játékokban, akkor teljesen felesleges pusztításnak, szükségtelen korlátozásnak tűnhet az egész. Bostrom viszont már korábban kidolgozta az elméletet, amely szerint csak emberi szintű MI-t kell fejleszteni a minket meghaladó robotok katapultálása előtt:

«Mihelyst a mesterséges intelligencia eléri az emberi szintet, pozitív visszacsatolásként újabb lökést kap a fejlesztés. Az MI segít jobb MI-ket építeni, amelyek aztán még jobb MI-ket építenek, és így tovább.»

Jobb félni, mint megijedni.”