Mit mutatott ki a Google kutatása
Nithya Sambasivan és kutatótársai a Google-nél 2021-ben a CHI konferencián publikálták azt a vizsgálatot, amely adatlavinának nevezte el a jelenséget. A definíció szerint ezek olyan összeadódó események, amelyek adatproblémákból indulnak, és lefelé haladva negatív hatásokat okoznak, technikai adósságot halmozva az idő múlásával.
A megkérdezett AI szakemberek 92 százaléka találkozott legalább eggyel a saját projektjében, 45,3 százalékuk pedig kettővel vagy többel ugyanabban a projektben. Már a tanulmány címe is sokatmondó, mindenki a modellen akar dolgozni, nem az adaton.
Az AI szakemberek ennyi része élt át adatlavinát. A kutatás nagy tétű, egészségügyi és környezetvédelmi rendszereket vizsgált, ahol a hiba következménye súlyos. Vállalati környezetben ugyanez a mechanizmus működik, csak a következmény pénzben mérhető.
A demó csapdája
Vállalati gyakorlatban a lavina szinte mindig ugyanúgy indul. A bemutatón minden működik, mert a kollégák kézzel válogatott, szép mintán mutatják be a megoldást. Az éles indulás után az eltérések apró furcsaságként jelennek meg, egy rossz szám, egy hibás kategória. Ezeket a csapat egyedi hibaként javítja, kézi korrekcióval és kivételszabályokkal.
Három hónap alatt a rendszer köré felépül egy árnyékfolyamat, amiben emberek ellenőriznek és pótolnak. A megtakarítás, amiért az egész indult, ezzel eltűnik, a projekt pedig formálisan még mindig sikeres. Éppen ezt írták le a Google kutatói, amikor arról beszéltek, hogy a hiba visszakövetése rendkívül nehéz, mert a jelek nem ott jelennek meg, ahol az ok keletkezett.
Az igazi költség
Ilyenkor a valódi veszteség nem a szoftverben van. Benne van az elpazarolt vezetői figyelemben, a csapat bizalmában, és abban a féléves késésben, amíg a szervezet rájön, hogy a hiba az alapoknál keletkezett. Egy ilyen kör után a következő AI javaslatot sokkal nehezebb átvinni a döntéshozókon, még akkor is, ha az már rendes alapokon állna.
Ebből következik a gyakorlati tanács. Az éles indulás előtt érdemes egy szándékosan csúnya mintán végigfuttatni a megoldást, olyan adaton, amit senki nem válogatott. Ami ott kiderül, azt még olcsó javítani.
Források és további olvasnivaló
Nithya Sambasivan és társai, Everyone wants to do the model work, not the data work, Data Cascades in High-Stakes AI, Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems, Google Research. A bevezetési projektek tipikus megtorpanásairól Miért bukik el a legtöbb nagyvállalati AI bevezetés című cikkemben írtam.
Workshop
AI Transformation Day
Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, priorizált cselekvési lista.
Érdekel a program →