A négy alapeset
Minden kétkimenetű döntésnek négy esete van, valódi pozitív, valódi negatív, téves riasztás és kihagyott beteg. A szenzitivitás azt mondja meg, a betegek mekkora hányadát találja meg a rendszer, a specificitás azt, az egészségesek mekkora hányadát hagyja békén. A kettő egymás ellen dolgozik, a küszöb hangolásával cserélhetők, és a helyes arány klinikai döntés. Szűrésnél a kihagyott beteg a drága, ott a szenzitivitás az úr. Megerősítő tesztnél a téves riasztás követ el kárt, ott a specificitás.
Amit az orvos valójában kérdez
A betegágy mellett a kérdés fordított. Nem az, hogy a betegek hány százalékát találja meg a rendszer, hanem az, hogy ha ez a riasztás megszólalt, mekkora eséllyel beteg valóban a beteg. Ez a pozitív prediktív érték, és van egy kényelmetlen tulajdonsága, függ a betegség gyakoriságától. Ritka állapotnál a legjobb teszt riasztásainak többsége is téves lehet, egyszerűen mert az egészségesek sokan vannak. Ezért kell minden mutatót a valós előfordulási gyakoriság mellett értelmezni, és ezért félrevezető a laborkörülmények között mért fényes eredmény, ha a célpopulációban a betegség ritka.
A prevalencia csapdája számokban. Legyen egy teszt kilencven százalék szenzitivitású és kilencven százalék specificitású, a betegség pedig minden századik embert érintse. Száz riasztásból ekkor nagyjából kilencven lesz téves. A teszt jó, a matematika könyörtelen, és pontosan ezért kell a riasztási lánc végére embert és megerősítő vizsgálatot tervezni.
A kalibráció, az alulértékelt erény
A rangsoroló képesség mellett a klinikumban külön erény a kalibráció, vagyis az, hogy a modell által mondott valószínűség megbízható-e. Ha a rendszer húsz százalék kockázatot mond, a hasonló betegek nagyjából ötöde legyen tényleg érintett, mert az orvos erre a számra döntést épít, tovább vizsgál, kezelést indít. Egy modell rangsorolhat jól úgy is, hogy a számai szisztematikusan hazudnak, és ez a fajta hiba csak akkor derül ki, ha a kalibrációt külön mérik. Egy orvosi AI átvilágításánál ezért a kérdéslista kötelező eleme, mérték-e, és újramérik-e rendszeresen.
Források és további olvasnivaló
Stanford, Fundamentals of Machine Learning for Healthcare, az egészségügy-specifikus metrikákról szóló modulok alapján.
Workshop
AI Transformation Day
Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, priorizált cselekvési lista.
Érdekel a program →