Szerkezet, részletesség, mértékegység

Ugyanaz az adat, kétféle alakban

A dátum a leggyakoribb eset. Ha egy állomány fele amerikai, másik fele magyar formátumban áll, az idősoros elemzés hónapokat cserél fel, és a hiba csak akkor tűnik fel, ha valaki véletlenül egy tizenkettedike utáni napra néz rá. Hasonlóan viselkedik a tizedesvessző és az ezreselválasztó, a pénznem jelöletlensége és az időzóna. Egy nemzetközi cégnél a raktári mozgások fele szerveridőben, fele helyi időben érkezett, és emiatt a napi zárás rendszeresen átcsúsztatott tételeket a következő napra.

Ezek a hibák egyetlen közös tulajdonsággal bírnak. Nem üres cellát hagynak maguk után, hanem hihető, de rossz értéket, ezért a szokásos ellenőrzések átengedik őket.

A részletesség keveredése

A Berkeley anyaga külön kiemeli, hogy meg kell vizsgálni, mit jelent egyetlen rekord, és hogy minden rekord ugyanazon a szinten áll-e. Vállalati állományokban gyakran keveredik a tételsor az összesítéssel, mert valaki évekkel ezelőtt beleírt egy összegző sort a táblába. Egy ilyen sor minden további számítást megkettőz.

A másik tipikus eset az összevont kategória. Egy értékesítési kimutatásban szerepel húsz termék és egy egyéb sor, ami valójában további hetven terméket takar. A modell ezt egyetlen nagy tételként látja, és ebből von le következtetést a kínálat szerkezetéről.

A mértékegység, ami senkinek nem jut eszébe

Egy debreceni élelmiszeripari cégnél a receptúra adatbázisban a mennyiség oszlop egyes soroknál kilogrammban, másoknál grammban szerepelt, és a különbséget egy szomszédos szöveges mező tartalmazta, amit soha senki nem töltött ki következetesen. A gyártástervezésre épülő modell emiatt ezerszeres eltéréseket produkált, amit a csapat eleinte a modell hibájának hitt.

A javítás nem az AI oldalán történt. Bevezettek egy kötött mértékegység mezőt, a régi sorokat pedig a beszállítói szerződések alapján egyszer átnézték. A modellen egyetlen sort sem kellett módosítani.

Ahol a szöveg rejti az adatot

Gépi olvashatóságon azt értjük, hogy a lényeg nem szkennelt képen vagy szabad szöveges megjegyzés mezőben lakik. Karbantartási naplóknál, szerződéses feltételeknél és ügyfélpanaszoknál a legtöbb hazai cégnél éppen ott lakik. Ez nem feltétlenül baj, a nyelvi modellek éppen ebben erősek, de tudni kell, hogy a kinyert érték becslés, nem pedig rögzített tény, és ennek megfelelően kell kezelni a további feldolgozásban.

Források és további olvasnivaló

UC Berkeley, Data 100, Data Cleaning and EDA, a szerkezet és a részletesség vizsgálatáról. DAMA DMBOK második kiadás, érvényesség és egységesség dimenzió. A szabad szöveges mezők gépi feldolgozásáról a tudásbázis építéséről szóló cikkemben írtam részletesen.