Peter Norvig, a Google kutatásigazgatója a hagyományos programozás és a gépi tanulás összehasonlításával hívta fel a figyelmet, hogy mekkora kihívás az utóbbiak hibáinak korrigálása, illetve ellenőrizni, hogy valóban az előzetes tervek szerint működnek.
Míg a hagyományos kódolásban Boole-logikával bizonyítják ezt, addig a gépi tanulás egy fekete doboz, amiben a számítógépek adatokkal programozzák magukat, és a Boole-féle logikai technikák rendszerek ellenőrzésére használt igaz-hamis tesztjeitől eltérő valószínűségi logikát generálnak.
„Komoly probléma a gépi tanulás ellenőrzésének a fejlődésben lévő teljes iparágra történő méretezése. Hiányoznak a hagyományos szoftvereknél meglévő több évtizedes tapasztalatok” – jegyezte meg Norvig.
A gépi tanulást termékenysége miatt szeretik használni, viszont jelen esetben pont ez a gátja is, mert a klasszikus programozásban bevált ellenőrzés és hitelesítés a folyamatos adatgyűjtés és generálás miatt kivitelezhetetlen.
Norvig alternatív hibakezelési módszert javasol: a gépitanulás-tesztnél „igaz”, „hamis” és „egyenlő” helyett használjanak inkább becsléseket.