Az AI eredménye annyit ér, amennyit az adat alatta

Alapelv

Az AI feldolgoz, nem pedig tud

Egy AI rendszer nem tudásforrás, hanem feldolgozó. Azt alakítja át, amit elé teszünk, és a saját erejét ehhez a bemenethez méri. Ebből három elv következik, és a projektek sorsa ezen a hármon dől el.

Az első elv szerint a kimenet minőségének felső határát a bemenet szabja meg. Egy erősebb modell gyorsabban és szebben fogalmaz, a hiányzó vagy ellentmondó tényt viszont nem tudja pótolni. Ahol a cég két különböző árlistát tart nyilván ugyanarra a termékre, ott nincs az a modell, amelyik megmondja, melyik az érvényes, mert ez nem nyelvi, hanem szervezeti kérdés.

A második elv a hallgatólagos tudásról szól. Egy tapasztalt kolléga fejből tudja, hogy a régi rendszerben a nulla forintos tétel valójában ingyenes szállítást jelent, és hogy egy adott partner kétféle néven fut a könyvelésben. Ez a tudás sehol nincs leírva. Ugyanazt az adatot a gép is megkapja, a magyarázatot viszont nem, ezért szó szerint veszi, amit lát.

A harmadik elv a legveszélyesebb. Egy nyelvi modell a bizonytalanságot nem jelzi külön, a hibás bemenetre is kerek, magabiztos választ ad. Hagyományos riportnál a rossz adat általában feltűnik, mert üres cella vagy képlethiba marad utána. Az AI válaszán semmi nem látszik, ezért a hiba egészen addig terjed, amíg valaki külső forrásból ellenőrizni nem kezdi.

Gyakorlati következménye ennek a háromnak az, hogy minden AI bevezetés valójában két projekt egyszerre. Az egyik a megoldás, a másik az adat rendbetétele, és a második nélkül az első csak látszatra készül el.

Alapfogalom

Mitől tiszta az adat

A tiszta adat nem azt jelenti, hogy szép a táblázat. Azt jelenti, hogy egy gép önmagában, emberi magyarázat nélkül helyesen tudja értelmezni. Ez néhány konkrét tulajdonságon múlik.

Az azonosítás az első. Egy ügyfél, egy cikkszám vagy egy szerződés egyetlen azonosítóval szerepel mindenhol, és ha két rendszer másképp hívja ugyanazt, akkor van egy nyilvántartott megfeleltetés a kettő között. A második a jelentés. Az „aktív ügyfél”, a „lezárt projekt” vagy a „nettó árbevétel” ugyanazt takarja a pénzügyben és az értékesítésben, és ez le is van írva. A harmadik a formátum. Azonos dátumszerkezet, azonos időzóna, azonos pénznem és mértékegység, tizedesvessző és ezreselválasztó következetesen.

Ezután jön a teljesség. A hiányzó érték jelölve van, nem nullaként szerepel, mert a kettő között óriási a különbség egy átlagszámításnál. Az egyediség azt jelenti, hogy egy tény egyszer van benne az adatbázisban, a duplikátumok fel vannak oldva, az érvényesség pedig azt, hogy látszik, melyik verzió él és mikortól. A gépi olvashatóság azt, hogy a lényeg nem szkennelt képen vagy szabad szöveges megjegyzés mezőben lakik. Végül ott a származás, vagyis hogy megmondható, honnan jött az adott szám, és ki felelős érte.

Amikor egy cégnél elkezdek egy AI projektet, ezt a kilenc tulajdonságot nézem meg először azon a szűk adatkörön, amire a megoldás épülne. A tapasztalatom szerint a projektek sorsa itt dől el, jóval a platformválasztás előtt.

Ok és okozat

Ahogy a rendetlen adatból rossz válasz lesz

A klasszikus gépi tanulásnál a rossz adat rossz modellt szül, és ez legalább mérhető. A nyelvi modelleknél a hatás alattomosabb, mert a válasz akkor is magabiztos és folyékony marad, ha az alapja hibás.

Ha a belső tudásbázisban hét árlista fekszik ugyanazzal a névvel, a rendszer abból fog válaszolni, amelyiket megtalálja, és az ügyfélnek kiküldött ajánlatban egy két éve visszavont kedvezmény jelenik meg. Négy írásmóddal szereplő partnernél a forgalmi kimutatás négy kisebb ügyfelet lát egy nagy helyett, és a vezetői jelentés téves rangsort ad. Ha a dátumok fele amerikai, fele magyar formátumban áll, az idősoros elemzés hónapokat cserél fel. Nullaként bevitt hiányzó adatnál a modell csökkenő trendet lát ott, ahol csak adatgyűjtési kiesés történt. Ha a szerződéses feltétel szkennelt PDF-ben van, és a felismerés elrontja a számokat, a rendszer olyan kötelezettséget olvas ki, ami sosem létezett.

A címkézés hibái ugyanígy viselkednek. Egy 2021-es vizsgálat a gépi tanulás tíz legismertebb nyilvános adatkészletét nézte át, és átlagosan legalább 3,3 százalék téves címkét talált a tesztadatokban, a leghíresebb képadatbázis ellenőrző halmazában legalább 6 százalékot. Ennek az a következménye, hogy javított címkézés mellett néha egy kisebb modell teljesít jobban, mint a nagyobb. Vagyis a hibás adat nemcsak a megoldást rontja el, hanem a mérést is, ami alapján a megoldást kiválasztjuk.

Vezetői szemmel ez a lényeg. A rendetlen adat nem lassítja a projektet, hanem hihető, de téves eredményt gyárt, amit senki nem kérdőjelez meg, mert a kimenet jól néz ki.

Következmény

A hiba nem marad ott, ahol keletkezett

A Google kutatói 2021-ben külön nevet adtak ennek a jelenségnek. Az adatlavina lényege, hogy egy korai, apró adatprobléma láthatatlanul végigfut a rendszeren, és sokkal később, jóval drágábban csapódik ki. A kutatásukban megkérdezett szakemberek 92 százaléka találkozott legalább eggyel a saját projektjében.

Vállalati gyakorlatban ez így néz ki. A demóban minden működik, mert a kollégák kézzel válogatott, szép mintán mutatják be. Az éles indulás után az eltérések apró furcsaságként jelennek meg, egy-egy rossz szám, egy hibás kategória. Ezeket a csapat egyedi hibaként javítja, kézi korrekcióval, kivételszabályokkal. Három hónap alatt a rendszer köré felépül egy árnyékfolyamat, amiben emberek ellenőriznek és pótolnak. A megtakarítás, amiért az egész indult, ezzel eltűnik, a projekt pedig formálisan még mindig sikeres.

Az igazi költség ilyenkor nem a szoftverben van. Benne van az elpazarolt vezetői figyelemben, a csapat bizalmában, és abban a féléves késésben, amíg a szervezet rájön, hogy a hiba az alapoknál keletkezett.

Piaci helyzet

Mekkora ma ez a hiány

A Gartner adatkezelési vezetők körében végzett felmérése szerint a szervezetek 63 százalékának nincsenek meg az AI-hoz szükséges adatkezelési gyakorlatai, vagy nem tudja magáról, hogy megvannak-e. Az elemzőcég arra számít, hogy 2026 végéig a cégek feladják azoknak az AI projekteknek a jelentős részét, amelyek alatt nincs megfelelően előkészített adat.

A hazai közepes és nagyvállalatoknál ez ismerős képet ad. Az ERP mellett ott van néhány tucat Excel tábla, amiben a valódi logika lakik. Dokumentumok egy része SharePointon, más része hálózati meghajtón, a régi műszaki anyagok szkennelve. A CRM-ben a cégnév négyféleképpen szerepel, mert a kollégák kézzel viszik fel. Karbantartási naplók szabad szövegesek. Minden egyes ilyen elem külön-külön kezelhető, együtt viszont azt jelentik, hogy a szervezet nem tud egyetlen megbízható tényhalmazt a gép elé tenni.

A verseny szempontjából itt nyílik a különbség. Ugyanaz a modell ma mindenkinek elérhető, előfizetéssel, percek alatt. Amiben a cégek különböznek, az a saját adatuk állapota, mert azt nem lehet megvásárolni és nem lehet néhány hét alatt pótolni.

Alátámasztás

Tizenhét év felvétel, ami magától semmit nem ért

Ezekre az elvekre a legfrissebb látványos bizonyíték nem vállalati környezetből jön. Szeptember 10-én a NASA és az IBM közösen adta ki a NASA-IBM Lunar Foundation Modelt, egy nyílt forráskódú alapmodellt a Hold tudományos kutatására. Súlyai a Hugging Face-en, a teljes kód a GitHub-on érhető el. A feladat, amire épült, kézzelfogható. Krátereket térképez a felszín korának meghatározásához, vulkanikus képződményeket ismer fel, és megbecsüli, hol maradhatott meg fagyott víz a pólusok örökké árnyékban lévő gödreiben. Ez a jégkészlet nem tudományos érdekesség, hidrogénre és oxigénre bontva helyben előállítható belőle a levegő és a rakéta hajtóanyaga, vagyis ezen múlik, mennyibe kerül egy holdbázis.

A modell alatt fekvő adat nagyjából 17 évnyi keringési megfigyelés. Körülbelül kétmillió képcsempe, ebből több mint egymillió egy méteres felbontású kamerafelvétel és közel 964 ezer multispektrális csempe száz méteres felbontáson. Emellé jött a gravitációs térkép, ami húsz kilométer per pixel felbontásban írja le a felszín alatti tömegeloszlást, és a japán Kaguya műszereinek anyaga. Összesen több mint harminc adatréteg, kilenc műszerből, négy misszióból.

Ez az archívum évek óta nyilvános volt. Gépi tanulásra mégis használhatatlan, mert a rétegek nem beszélnek egymással. Egyetlen pixel a gravitációs adatban húsz kilométert fed le, a kamerafelvételen egy métert. A Holdon két hét nappal után két hét éjszaka jön, a pólusokon a Nap olyan alacsonyan áll, hogy hosszú árnyékok takarják el a sziklákat és a kráterperemeket, légkör hiányában pedig éles fény és mély árnyék váltakozik ugyanazon a felvételen. Ugyanaz a kráter más műszerrel, más napszakban, más kalibrációval teljesen máshogy néz ki. Ehhez jön a por fényszórása, ami a napszögtől függően torzít.

A csapat munkájának érdemi része az volt, hogy ezt a harminc plusz réteget térben egymásra illesztette, egységes felbontási logikára hozta, és kezelte a hiányzó vagy zajos értékeket. Ezt hívják gépi tanulásra kész adatnak. Az eredmény ezután jött. A jégstabilitás becslésében a modell hibája akár 22 százalékkal kisebb a szokásos alapmodellhez képest, a száz méteres kráterfelismerésben 19 százalékkal jobb eredményt ad fele annyi tanítóadatból, a vulkanikus foltok azonosításában 3 százalékkal veri a kifejezetten arra a feladatra készült megoldásokat.

Ennek a történetnek az üzleti tanulsága nem a Holdról szól. A NASA-nak és az IBM-nek megvolt a pénze, a szakembere és a számítási kapacitása ahhoz, hogy a modellezéssel kezdjen. Mégis az adat rendbetétele vitte el a munka nagy részét, mert e nélkül a legerősebb modell sem tudta volna megmondani, hogy két felvétel ugyanarról a kráterről szól.

Üzleti eset

Mennyibe kerül, és mit hoz vissza

Az adattisztítást a legtöbb előterjesztésben egy sor jelöli, jellemzően alulbecsülve. A projektjeim alapján az előkészítés a teljes ráfordítás felét is elviheti az első körben, és ezt a számot jobb előre kimondani, mint menet közben magyarázni.

Ennek a ráfordításnak a megtérülése viszont nem ezen az egy projekten számolódik el. Az egyszer rendbe tett ügyféltörzs, cikktörzs vagy szerződésállomány onnantól minden további megoldás alapja. A NASA-IBM készlet is így működik. Egyszer épült meg, és most bárki használhatja kráterkutatásra, vulkanikus elemzésre vagy jégkeresésre anélkül, hogy elölről kezdené. Egy cégnél ugyanez a logika él, a második és harmadik AI megoldás töredék idő alatt indul, ha az adatalap már áll.

Másik hozadék a kevés címkézett adat. A holdmodell finomhangolásánál a súlyok nagy részét befagyasztva, kis mintával lehet új feladatra állítani a rendszert. Vállalati környezetben ez azt jelenti, hogy tiszta alapon néhány száz jól átnézett példa is elég egy szakterületi feladathoz, míg rendezetlen adatnál több ezer sem visz közelebb.

Van egy harmadik tétel, amit szinte sosem számolnak. A rendezett adat a jelentéskészítést, az auditot és a hatósági megfelelést is olcsóbbá teszi, mert ugyanazokra a kérdésekre nem kell minden alkalommal külön kimutatást gyártani. Az AI projekt így gyakran csak kiváltó oka annak a munkának, ami amúgy is esedékes volt.

Végrehajtás

Hogyan fogjunk hozzá anélkül, hogy nagytakarításba fulladna

A leggyakoribb hiba, amit látok, a teljes körű adatprogram. Valaki kimondja, hogy előbb rendet teszünk mindenhol, és ebből másfél éves projekt lesz, aminek a végén nincs működő megoldás, csak egy szabályzat. A NASA-IBM csapat sem az egész holdarchívumot rendezte, hanem azt a harminc réteget, ami a kitűzött feladatokhoz kellett.

Az általam használt sorrend ezért szűken indul. Kiválasztunk egy üzleti feladatot, aminek mérhető értéke van, és visszafelé megnézzük, milyen adat kell hozzá. Ez jellemzően három vagy négy forrás, nem harminc. Ezután veszünk egy mintát, kétszáz vagy háromszáz rekordot, és kézzel, szakértő bevonásával átnézzük. Ebből kijön a hibatérkép, vagyis hogy a hibák hány százaléka duplikátum, hiányzó mező, formátumeltérés vagy ellentmondás két rendszer között.

A hibatérkép után jönnek az üzleti döntések, mert az adattisztítás javát nem informatikai kérdések teszik ki. El kell dönteni, melyik rendszer az igazság forrása egy adott mezőre. Meg kell mondani, mi a hivatalos definíciója az aktív ügyfélnek. Választ kell adni arra, mi legyen a 2019 előtti anyagokkal, és ki írja alá, hogy a régi adat kimarad. Ezeket a döntéseket csak a terület vezetője hozhatja meg, adatmérnök nem.

Javítani ezután két szálon kell. A meglévő állományt egyszer rendbe tesszük, a keletkezés helyén pedig megszüntetjük a hiba okát, például kötött listával a szabad szöveges mező helyett. Ha a második elmarad, fél év múlva ugyanott tartunk, csak drágábban.

Fenntartás

Az adat romlik, ha nincs gazdája

A tisztított adat nem állapot, hanem karbantartott dolog. Új mező kerül be, jön egy másik rendszer, átszervezik a területet, és a definíciók csendben szétcsúsznak. Ezért minden érdemi adatkörnek kell egy nevesített gazdája az üzleti oldalon, aki a definíciókat őrzi, és akihez a vitás eset kerül.

Mellé kell néhány folyamatosan figyelt mérőszám. Mennyi a hiányzó érték aránya a kulcsmezőkben, hány duplikátum keletkezett az elmúlt hónapban, hány rekord ütközik két rendszer között, és mennyi idő alatt jut el egy javítás a forrásig. Ezek a számok ugyanolyan vezetői mutatók, mint a készletforgás vagy a kintlévőség, csak eddig senki nem kérte őket.

Szállítóválasztásnál ugyanez a szempont. A demó mindig szép adaton fut, ezért azt kérdezem meg, mit csinál a rendszer hiányzó értékkel, hogyan oldja fel az ellentmondást két forrás között, és naplózza-e, hogy egy válasz melyik dokumentum melyik verziójából származik. Aki ezekre tud válaszolni, az éles üzemben is működni fog. Ha valaki elengedi a kérdést, a hiba a mi oldalunkon fog megjelenni, számla formájában.

Következő lépés

Amit a vezetőnek ki kell mondania

Az AI transzformációt komolyan gondoló cégeknél az adatmunka nem támogató feladat, hanem a program gerince. Ez néhány konkrét vezetői döntést jelent. Az adatelőkészítés külön soron szerepel a büdzsében, nevesített felelőssel. Mérföldkőként szerepel olyan is, ami az adat állapotáról szól, nem a funkciókról. A szakterületi kollégák munkaideje be van tervezve a definíciós döntésekre, mert nélkülük a munka megáll.

Ez a holdmodell azért lett használható, mert valaki elvégezte azt a munkát, ami senkinek nem látványos. Harminc réteget illesztett egymásra, kezelte az árnyékokat és a hiányzó értékeket, és csak utána tanított. Egy vállalatnál ugyanez a sorrend dönti el, hogy az AI valódi döntéstámogatás lesz, vagy egy jól hangzó válaszokat gyártó gép, aminek az eredményét a kollégák a hátuk mögött kézzel ellenőrzik.