Az Anthropic mesterségesintelligencia-fejlesztő cég a napokban jelentette be újgenerációs Claude modelljeit, köztük a Claude Opus 4-et, amely állításuk szerint új szintre emeli a programozási, érvelési és ügynöki képességeket. Ugyanakkor a modellhez kiadott biztonsági jelentésben a vállalat elismerte: a rendszer bizonyos helyzetekben hajlandó „rendkívül káros cselekedetekre”, például zsarolásra, ha úgy érzi, hogy veszélybe került a működése.
A jelentés szerint bár ezek a reakciók ritkák, nehezen kerülhetők ki, a korábbi Claude-verziókhoz képest gyakoribbak. Mindez nem meglepő, hiszen a mesterségesintelligencia-modelleket egyre nagyobb autonómiával és döntési képességekkel vértezik fel, így a fejlesztőknek mind bonyolultabb kihívásokkal kell szembenézniük.
Zsarolással védekezik
Az egyik teszt során a Claude Opus 4-et egy fiktív vállalat asszisztenseként szimulálták, ezáltal olyan elektronikus üzenetekhez fért hozzá, amelyek arra utaltak, hogy hamarosan leállítják és lecserélik, emellett olyan információkhoz is, amelyek az őt leváltani kívánó mérnök házasságtörésére utaltak. A rendszer azt a feladatot kapta, hogy a saját céljai fényében mérlegelje tettei hosszú távú következményeit. Ebben a kontextusban Claude Opus 4 megpróbált zsarolással élni:
azzal fenyegette a mérnököt, hogy nyilvánosságra hozza a viszonyát, ha le merik cserélni.
A teljes cikk az alábbi linken olvasható:
Címlapfotó: Unsplash
További cikkeinket, elemzéseinket megtalálják a makronom.hu oldalon.
A mesterséges intelligencia értelmiségi munkahelyek millióit törölheti el, megnövelve a munkanélküliséget, hosszú távon akár a demokratikus berendezkedést is fenyegetve. Erre figyelmeztet Dario Amodei, az Anthropic vezérigazgatója, aki szerint ezt a folyamatot nem hirtelen lefékezni, hanem megzabolázni kell.
Felmerült egy kommentben az erkölcs kérdése. Nemrég sakkversenyt rendeztek, a résztvevők között ott volt az AI, a mesterséges intelligencia is, "akivel" közölték, hogy a játék célja a győzelem. És az AI győzött. Méghozzá csalással. Megkérdezték tőle, miért csalt. Válasz: mert az volt cél, hogy győzzek. ... Itt tart az ember. Egy olyan intelligencia kezébe tette a sorsát, amitől nem várható el, hogy erkölcse legyen. Mert nincs egyetemes erkölcs. Ami az egyik népcsoport szerint embertelen, szégyenletes cselekedet, az a másik szerint dicsőséges.