A tévedés következményei látszatra banálisak, de mi van, ha a komputer járművek helyett emberek közül válogat, és a kategorizálással például egy lakásbérlet alapfeltételeit kockáztatja? A közös paraméterekbe nem passzoló személyek aránytalan mértében távolodnak el a rendszer által az adatsor többi része alapján jónak megtanulttól. Pontosan így működnek a gépitanulás-rendszerek.
»Ha egy csoporthoz tartozás érzékeny tulajdonságokkal, például bőrszín, nem, fogyatékosság vagy vallás esik egybe, a szituáció igazságtalan vagy előítéletes kimenetekhez vezethet. Annak ellenére sincs az e tulajdonságokon alapuló negatív megkülönböztetést megelőző gépitanulás-módszer, hogy szükség lenne rá« – írta egy blogposztban Moritz Hardt (Google Brain).
Hardt és két kollégája tanulmányban fejtette ki, hogy hogyan kerülhetők el ezek a kimenetek. Lényege, hogy ha létezik kívánatos kimenet, amit e tulajdonságok valamelyike tévesen befolyásolhat, és ezért valaki nem érheti el, az algoritmus úgy módosít magán, hogy legyenek az adott tulajdonságot figyelmen kívül hagyó kimenetek is. Úgy gyakoroltatjuk, hogy egyenlőséget tegyen a nem-releváns tulajdonságok között.