Mitől tiszta egy adathalmaz

Öt jellemző, amit végig kell nézni

A Berkeley egyetem Data 100 kurzusa öt tulajdonság mentén vizsgálja az adatot, mielőtt bármit kezdene vele. Szerkezeten azt értik, milyen alakban áll az állomány, táblázatos-e vagy beágyazott, és géppel olvasható-e egyáltalán. Részletesség alatt azt, hogy mit jelent egyetlen sor, egy vásárlást, egy embert vagy egy havi összesítést. Ha egy állományban keveredik a tételsor és az összegzés, minden további számítás félrevisz.

A hatókör azt írja le, mennyire teljes az adat, kimaradt-e egy telephely vagy egy időszak. Az időbeliség az időbélyegekről szól, arról, hogy melyik időzónában és milyen pontossággal rögzítettek egy eseményt, és hogy a dátum a keletkezés vagy a rögzítés ideje. A hitelesség pedig a legnehezebb kérdés, azt feszegeti, mennyire tükrözi az adat a valóságot.

Nyolc minőségi dimenzió az ipari szabványból

Az adatkezelési szakma saját kerete a DAMA DMBOK második kiadása, amely nyolc minőségi dimenziót nevesít. Pontosság, vagyis az adat a valós entitást írja le. Érvényesség, tehát a megadott formátumnak és szabálynak megfelel. Teljesség, azaz minden szükséges érték jelen van. Egységesség, ami a rendszerek közötti összhangot jelenti. Időszerűség, hogy az adat elég friss a döntéshez. Egyediség, tehát egy tény egyszer szerepel. Sértetlenség, ami a kapcsolatok épségét jelenti, például hogy minden rendeléshez létező ügyfél tartozik. Végül az ésszerűség, vagyis az érték a várható tartományban mozog.

Ez a két keret ugyanarra a valóságra néz, csak más szemszögből. A Berkeley váza a vizsgálat sorrendjét adja, a DAMA lista pedig az ellenőrizhető mérőszámokat.

Az azonosítás és a jelentés

Két elem közülük szinte mindig okoz gondot. Az azonosítás azt jelenti, hogy egy ügyfél, egy cikkszám vagy egy szerződés egyetlen azonosítóval szerepel mindenhol, és ha két rendszer másképp hívja ugyanazt, akkor van egy nyilvántartott megfeleltetés a kettő között. Enélkül ugyanaz a partner négy kisebb ügyfélként jelenik meg a kimutatásban.

A jelentés arról szól, hogy az aktív ügyfél, a lezárt projekt vagy a nettó árbevétel ugyanazt takarja a pénzügyben és az értékesítésben, és hogy ez le is van írva. Egy székesfehérvári gépipari cégnél a két terület fél évig vitatkozott a havi számokon, mire kiderült, hogy az értékesítés a megrendelés dátumával, a pénzügy a teljesítés dátumával dolgozik. Egyik sem tévedett, csak soha nem mondták ki, melyik az irányadó.

Források és további olvasnivaló

UC Berkeley, Data 100, Principles and Techniques of Data Science, Data Cleaning and EDA fejezet, a szerkezet, részletesség, hatókör, időbeliség és hitelesség szempontjaival. DAMA DMBOK második kiadás, adatminőségi dimenziók. A kilenc tulajdonság saját bevezetési gyakorlatomból származik, bővebben ebben a cikkemben.