Adattisztítás AI projektekhez · Lecke 06

A hibatérkép, avagy hol tartunk valójában

A leggyakoribb hiba, amit látok, a teljes körű adatprogram. Valaki kimondja, hogy előbb rendet teszünk mindenhol, és ebből másfél éves projekt lesz, aminek a végén nincs működő megoldás, csak egy szabályzat.

Vissza a tananyaghoz


Szűken indulni

A NASA és az IBM közös holdmodelljénél sem az egész archívumot rendezték. Azt a harminc adatréteget hozták rendbe, ami a kitűzött feladatokhoz kellett, és csak azután tanítottak. Ugyanez a sorrend működik egy cégnél is.

Az általam használt menet ezért egy üzleti feladattal kezdődik, aminek mérhető értéke van, és onnan halad visszafelé. Megnézzük, milyen adat kell hozzá, és ez jellemzően három vagy négy forrás, nem harminc. A szűk fókusz nemcsak gyorsabb, hanem azért is fontos, mert így a felmérés eredménye egy konkrét döntéshez kötődik, nem egy általános állapotjelentés lesz belőle.


A minta, amit kézzel nézünk át

Ezután veszünk egy mintát, jellemzően kétszáz vagy háromszáz rekordot, és kézzel, szakértő bevonásával átnézzük. Kézzel, mert ezen a ponton még nem tudjuk, mit keresünk, és egy automatikus ellenőrzés csak azokat a hibákat találja meg, amikre előre gondoltunk. A szakértő bevonása pedig azért kell, mert ő látja meg, hogy egy érték szakmailag lehetetlen, akkor is, ha formailag rendben van.

Az egyik biztosító ügyfelemnél ez a kétnapos átnézés hozta felszínre, hogy a kárbejelentések dátuma egy 2019-es rendszermigráció óta a betöltés napját mutatja, nem a bejelentését. Formailag kifogástalan volt, tartalmilag viszont használhatatlan minden olyan elemzéshez, ami az átfutási időt vizsgálta.


300

Ennyi rekord általában elég a hibatérképhez. A cél nem a teljes állomány javítása, hanem annak megállapítása, hogy a hibák hány százaléka duplikátum, hiányzó mező, formátumeltérés vagy két rendszer közötti ellentmondás.


Amit a hibatérkép megmutat

A végeredmény egy egyszerű táblázat, hibatípusonként aránnyal és becsült javítási ráfordítással. Ez az a dokumentum, amivel vezetői döntést lehet kérni, mert konkrét számokat tartalmaz, nem általános aggodalmat. A tapasztalatom szerint a hibák eloszlása meglepően állandó. Jellemzően néhány hibatípus adja a problémák nagy részét, és ezek javítása visz a legtöbbet előre.

Ugyanez a táblázat adja a becslést is a ráfordításra. A projektjeim alapján az előkészítés a teljes munka felét is elviheti az első körben, és ezt a számot jobb előre kimondani, mint menet közben magyarázni.


Források és további olvasnivaló

NASA és IBM, Lunar Foundation Model, 2026. szeptember, nyílt forráskódú modell a Hold kutatására, a Hugging Face és a GitHub felületén. UC Berkeley, Data 100, az adat vizsgálatának szempontjairól. A felmérés menetét és a ráfordítás becslését ebben a cikkemben fejtettem ki bővebben.


← Előző lecke Következő lecke →

Workshop

AI Transformation Day

Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, priorizált cselekvési lista.

Érdekel a program →