A telepítés valósága

A munkafolyamat az igazi terep

Egy jóslás önmagában nem tesz semmit. Értékké akkor válik, ha a megfelelő emberhez, a megfelelő pillanatban, cselekvésre alkalmas formában jut el. A telepítés tervezése ezért nem azzal kezdődik, hova tegyük a modellt, hanem azzal, ki és mit fog másképp csinálni a kimenete miatt. Ha a riasztásra nincs kapacitás, protokoll és felelős, a modell csak zajt termel. A klinikai munkafolyamat elemzése, az ellátók bevonása a tervezésbe nem kísérőprogram, hanem a siker feltétele.

A riasztási fáradtság

A kórházi rendszerek már ma is riasztások tömegét zúdítják az ellátókra, és a személyzet megtanulja átkattintani őket. Minden új modell ebbe a telített térbe érkezik, és a téves riasztások aránya dönti el a sorsát. A jól kalibrált, jól hangolt küszöb, az összevont, rangsorolt riasztás és a kevesebb, de megbízhatóbb jelzés elve élet és halál kérdése a rendszer szempontjából, mert a kikapcsolt vagy ignorált riasztás rosszabb, mintha nem is lenne, hamis biztonságérzetet ad.

A sodródás és a folyamatos felügyelet

Az egészségügyi gyakorlat változik, új protokollok, új betegösszetétel, új kódolás, és a telepített modell teljesítménye ezzel csendben sodródik. A kurzus ezért a telepítést nem projektzárásnak, hanem üzemeltetés kezdetének tekinti. Kell a folyamatos teljesítménykövetés, a kalibráció rendszeres újramérése, a riasztási statisztikák figyelése, és egy előre kijelölt döntési pont, mikor kell a modellt újratanítani vagy kivonni. A modell nélküli világban a tudás elavulását az orvostovábbképzés kezeli, a modellek világában ugyanez a munka a monitorozás.

Források és további olvasnivaló

Stanford, Fundamentals of Machine Learning for Healthcare, a klinikai alkalmazásfejlesztésről és telepítésről szóló modulok alapján. Az éles üzemeltetés általános kérdéseiről az AI rendszerek termelésben kurzusban írtam.