A hiányzó és a hibás érték

Hiányzó vagy nulla

A leggyakoribb és legdrágább hiba az, amikor a hiányzó értéket valaki nullaként viszi be. Óriási a különbség a kettő között. A nulla azt állítja, hogy megmértük és nem volt belőle, a hiányzó viszont azt, hogy nem tudjuk. Egy átlagszámításban a nullák lehúzzák az átlagot, a hiányzó értékek viszont kimaradnak a számlálóból és a nevezőből is.

Egy magyar kiskereskedelmi láncnál emiatt látott a modell csökkenő forgalmi trendet három üzletben. Valójában nem esett vissza a forgalom, hanem a kasszarendszer frissítése után két hétig nem érkeztek adatok, és azokat a napokat valaki nullával töltötte fel, hogy ne legyen lyuk a táblázatban.

Duplikátum és az azonosítás hiánya

A duplikátum ritkán teljes sorismétlés. Sokkal gyakrabban ugyanaz a partner szerepel négy írásmóddal, mert a kollégák kézzel viszik fel a nevet. A forgalmi kimutatás ilyenkor négy kisebb ügyfelet lát egy nagy helyett, és a vezetői jelentés téves rangsort ad. Nem a névmezőben kezdődik a javítás, hanem ott, hogy van-e egyáltalán olyan azonosító, ami összeköti a négy sort.

Hazai környezetben az adószám szokott a legjobb horgony lenni cégeknél, mert az nem változik névváltáskor, és nyilvános nyilvántartásból ellenőrizhető. Enélkül a duplikátumok feloldása találgatás marad.

Címkehibák, ahol a mérce is elromlik

Ha a rendszer tanításhoz vagy kiértékeléshez címkézett adatot használ, a címke hibája külön kockázat. Curtis Northcutt, Anish Athalye és Jonas Mueller a gépi tanulás tíz legismertebb nyilvános adatkészletét nézte át, és a NeurIPS 2021 konferencián közölt eredményeik szerint a tesztadatokban átlagosan 3,3 százalék téves címke található, a legismertebb képadatbázis ellenőrző halmazában 6 százalék. Az algoritmus által megjelölt esetek 54 százalékát emberi ellenőrzés is megerősítette.

Ennek a következménye messze túlmutat a pontossági százalékon. Javított címkézés mellett előfordul, hogy egy kisebb modell teljesít jobban, mint a nagyobb, vagyis a hibás adat nemcsak a megoldást rontja el, hanem a mérést is, ami alapján a megoldást kiválasztjuk.

Források és további olvasnivaló

Curtis G. Northcutt, Anish Athalye, Jonas Mueller, Pervasive Label Errors in Test Sets Destabilize Machine Learning Benchmarks, NeurIPS 2021, Datasets and Benchmarks Track. UC Berkeley, Data 100, a hiányzó értékek kezeléséről. DAMA DMBOK második kiadás, teljesség és egyediség dimenzió.