A konfúziós mátrix
Egy kétosztályos feladatnál minden becslés négyféle lehet, aszerint hogy a modell mit mondott és mi volt a valóság. Ezt a négy esetet foglalja össze a konfúziós mátrix (confusion matrix). A valódi pozitív (true positive) az, amikor a modell pozitívnak jelöl valamit, ami tényleg pozitív. A valódi negatív (true negative) a helyesen negatívnak jelölt eset. A hamis pozitív (false positive) az, amikor a modell tévesen jelöl pozitívnak egy negatív esetet, ez a téves riasztás. A hamis negatív (false negative) pedig az elszalasztott pozitív, amikor a modell nem veszi észre a valódi pozitívot.
Pontosság és miért nem elég
A pontosság (accuracy) a helyesen besorolt esetek aránya az összeshez képest, vagyis a valódi pozitívok és valódi negatívok összege osztva az összes esettel. Kiegyensúlyozott adaton jó mérőszám, de kiegyensúlyozatlan adaton félrevezető. Ha egy betegség az esetek egy százalékában fordul elő, egy olyan modell, amely mindig negatívot mond, kilencvenkilenc százalékos pontosságot ér el anélkül, hogy egyetlen beteget is megtalálna. Ezért ilyenkor a pontosság mellett más mutatókra is szükség van.
Precízió és fedés
A precízió (precision) azt méri, hogy a modell pozitív jelöléseiből mennyi volt valóban pozitív, vagyis a valódi pozitívok aránya az összes pozitív jelöléshez. Akkor fontos, amikor a téves riasztás költséges. A fedés (recall), más néven érzékenység vagy valódi pozitív arány (true positive rate), azt méri, hogy a valóban pozitív esetekből mennyit talált meg a modell, vagyis a valódi pozitívok aránya az összes tényleges pozitívhoz. Akkor fontos, amikor egy elszalasztott pozitív, egy hamis negatív a súlyos, például egy betegség kiszűrésénél.
A precízió és a fedés kompromisszuma
A precízió és a fedés általában egymás rovására javul. Ha feljebb visszük a döntési küszöböt, a modell óvatosabb lesz, kevesebb téves riasztást ad, így a precízió nő, de több valódi pozitívot szalaszt el, ezért a fedés csökken. Ha lejjebb visszük a küszöböt, fordítva történik. Ezt a kettőt gyakran együtt kell mérlegelni, és a feladat dönti el, melyik számít jobban. Amikor mindkettőt egyszerre akarjuk figyelembe venni, az F1 mutatót használjuk, amely a precízió és a fedés harmonikus közepe, és akkor magas, ha mindkettő magas.
ROC görbe és AUC
Egyetlen küszöb helyett érdemes megnézni, hogyan viselkedik a modell az összes lehetséges küszöbnél. Ezt ábrázolja a ROC görbe (receiver operating characteristic), amely a valódi pozitív arányt a hamis pozitív arány függvényében mutatja, minden küszöbre. A görbe alatti terület az AUC (area under the curve). Az AUC egyetlen számban fejezi ki a modell megkülönböztető erejét, és azt a valószínűséget adja meg, hogy a modell egy véletlen pozitív példát magasabbra rangsorol egy véletlen negatívnál. Az 1,0-es AUC tökéletes rangsorolást jelent, a 0,5-ös AUC pedig annyit ér, mint a pénzfeldobás.
Amikor a precízió számít
- A téves riasztás költséges
- Fontos, hogy a pozitív jelölés helytálló legyen
- Például levélszemét szűrő, ne dobjon ki valódi levelet
Amikor a fedés számít
- Az elszalasztott pozitív a súlyos
- Fontos, hogy minden valódi esetet megtaláljunk
- Például betegség kiszűrése, ne maradjon ki beteg
Workshop
AI Transformation Day
Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.
Érdekel a program →