A ritka eset problémája
A legtöbb üzleti adatban a fontos esemény ritka. Ezer tranzakcióból egy a visszaélés, száz jelentkezőből öt a kiváló, ezer alkatrészből kettő a hibás. Ha ezen az adaton simán tanítunk, a rendszer megtanulja a kényelmes választ, hogy soha semmi nem visszaélés, és papíron kiváló pontossággal működik, miközben pont a lényeget nem találja meg.
A kezelés lényege, hogy a ritka osztályt súlyozzuk vagy feldúsítjuk, a mérést pedig olyan mutatóra állítjuk, ami a ritka eset megtalálását méri, nem az össztalálati arányt. A mérőszám megválasztása itt nem technikai részlet, hanem üzleti döntés arról, melyik tévedés mennyibe kerül.
A kiugró értékek
A kiugró érték kétféle. Az egyik adathiba, egy elütött nulla, egy rossz mértékegység, ezt javítani vagy törölni kell. A másik valódi, ritka eset, ami pont az érdekes. A kettőt nem lehet automatikusan szétválasztani, gépi módszerrel megtalálni viszont igen, és utána ember dönt. Ugyanaz a minta, mint a címkehibáknál, a gép rangsorol, az ember ítél.
Az eltolódás, ami csendben öl
A leggyakoribb ok, amiért egy jól induló rendszer fél év múlva romlik, az eltolódás. A világ megváltozott, az adat, amin tanult, már nem olyan, mint ami bejön. Új terméknevek, új ügyféltípus, megváltozott folyamat, és a rendszer a régi világ szabályait alkalmazza az újra.
Az eltolódás rokona annak, amit a mérőszámoknál látunk. A rendszer papíron jól teljesít, mert a régi mércén mérjük, közben a valóság már máshol van. A mérce frissítése ugyanolyan karbantartás, mint az adaté.
Források és további olvasnivaló
A tananyag gerince az MIT ingyenes Introduction to Data-Centric AI kurzusa. A mérőszámok elcsúszásáról az Amikor az AI kijátssza a mérőszámot című cikkemben.