Szavakból ismer fel képeket a számítógép

A gépilátás-rendszerek általában többezer példakép elemzésével ismernek fel tárgyakat. A Disney Research kutatói viszont bemutatták, hogy korábban soha nem látott tárgyakat részben a szótár megtanulásával is felismerhetnek. Valahogy úgy, mint mi, hiszen nekünk is lehetnek olvasmányaink alapján elképzeléseink tárgyakról. Ha egy számítógép például tudja, mi az alma, más gyümölcsök, például a körte és az őszibarack létezésére, almától való eltéréseikre utaló szavakat elemezhet. Ráadásul az alma korábban nem ismert fontos tulajdonságairól is tudomást szerez.

„Új tanulási paradigma előtt nyílnak meg a kapuk” – jelentette ki Leonid Sigal, a Disney Research rangidős kutatója.

Ha a rendszereknek nem kell többezer felcímkézett képet elemezniük, csökken az új tárgyak megtanulására fordított idő, és párhuzamosan több tárgykategóriát képesek felismerni. Sigal szerint a szótáralapú megoldással hasznosabb és megbízhatóbb lesz a gépi látás.

A kutatók a Wikipédia és az UMBC WebBase összes szócikkén, hárommilliárd angol szót tartalmazó adatsoron tanították rendszerüket. 300 ezernél több tárgykategóriára bukkant, és statisztikai összefüggéseket is fedezett fel közöttük. Például autókat és buszokat ismer fel, de a szóelemzésből rá is jön, hogy más járműkategóriákról van szó.

Már a kategóriák létezésének ismerete is sokat segít a tárgyfelismerésben. Jobb modellek dolgozhatók ki. A szóelemzésből kinyert információ ismeretlen tárgyak azonosítási módjában is segíthet. Például, a gép tudja, hogy néz ki egy alma, a szótár alapján viszont rájöhet, hogy a körte hasonló méretű, de hosszúkásabb.

Képzeljük el, hogy soha nem jártunk Afrikában, de könyvekből sejthetjük, mi vár ránk. Nagyjából – és lebutítva – így működik a Disney Research új tárgyfelismerése.

A teszteknél kiderült, hogy a félig ellenőrzött, szótáralapú tanulás jobban működik, kevesebb gyakorlópéldát igényel, mint a többi hasonló technika.

„Nem az embert próbáltuk pontosan utánozni, hanem az emberszerűbb tanulási megközelítés jelentette a komoly motivációt. Másfajta tanulásról van szó, ami különféle algoritmusok fejlesztésére ösztönözhet kutatókat” – összegez Sigal.