Tanítás, validálás és tesztelés orvosi adaton

A szivárgás művészete

Az adatszivárgás az, amikor a modell a tanulás során olyan információhoz jut, amely éles helyzetben nem állna rendelkezésre, és ettől a mérés hazug módon szép lesz. Az egészségügyben ez alattomosan könnyű. Ha ugyanannak a betegnek a felvételei a tanító és a mérő halmazba is kerülnek, a modell a beteget ismeri fel, nem a betegséget. Ha a címke utáni adatok is bekerülnek, a modell a jövőből tanul. Ezért vasszabály a betegszintű felosztás, egy beteg minden adata ugyanabba a halmazba tartozik, és az időrend tisztelete, a modell csak azt láthatja, ami a jóslás pillanatában létezett.

A validálás lépcsői

A becsületes értékelésnek lépcsői vannak. A belső validálás a saját adaton, helyes felosztással, ez a belépő. Az időbeli validálás régebbi adaton tanít és újabbon mér, mert az éles használat is mindig a jövőben történik, és a gyakorlat változása így kiderül. A külső validálás másik intézmény adatán mér, és jellemzően itt jön a hidegzuhany, mert a modell megtanulta a saját kórházának gépeit, kódolási szokásait, betegösszetételét. Ami külső validáláson is megáll, az kezd megérni a klinikai használatra.

Az alcsoportok kérdése

Az összesített pontszám kevés, mert a modell teljesítménye alcsoportonként drámaian eltérhet, korcsoport, nem, társbetegségek, felvételi osztály szerint. Az egészségügyben ez nem statisztikai finomság, hanem betegbiztonsági és méltányossági kérdés, amelyre a hetedik leckében külön visszatérünk. Az értékelési minimum annyi, hogy a teljesítményt a fő alcsoportokra külön is ki kell mutatni, és ahol a modell gyenge, ott vagy javítani kell, vagy kimondani, hogy arra a csoportra nem használható.

Források és további olvasnivaló

Stanford, Fundamentals of Machine Learning for Healthcare, a tanítási, validálási és tesztelési legjobb gyakorlatokról szóló modulok alapján.