Honnan jön a torzítás
A modell a múlt adataiból tanul, és a múlt ellátása nem volt egyenlő. Ha egy csoport ritkábban jutott vizsgálathoz, az adatban egészségesebbnek látszik, és a modell kevésbé fog riasztani rá. Ha a címke egy torz gyakorlatot rögzít, például a költést használja az egészségi állapot helyettesítőjeként, a modell a hozzáférési egyenlőtlenséget tanulja meg szükségletként. A torzítás tehát ritkán a matematikában van, szinte mindig az adatban és a címkében, és pontosan ezért a második lecke fenotipizálási gondossága egyben méltányossági kérdés is.
Mit lehet tenni
A védekezés első lépése a mérés, a modell teljesítményét a védett és sérülékeny csoportokra külön ki kell mutatni, és a különbségeket néven kell nevezni. A második a címke és az adat felülvizsgálata, jó helyettesítő-e, amit a modell célnak kap. A harmadik a folyamatba épített biztosíték, az embereket érintő döntéseknél a modell javasol, ember dönt, és a döntéshozó tudja, mely csoportoknál gyengébb a rendszer. A teljes egyenlőség matematikailag sem mindig elérhető, a tisztesség minimuma viszont igen, kimutatott, dokumentált és kommunikált teljesítmény minden érintett csoportra.
A szabályozási keret. A klinikai célú AI szoftver Európában orvostechnikai eszköznek minősülhet, ami megfelelőségértékelést és felügyeletet jelent, az EU AI rendelete pedig a magas kockázatú kategóriába sorolja az egészségügyi alkalmazások jelentős részét, dokumentálási, felügyeleti és képzési kötelezettségekkel. A beszerzőnek ezért az első kérdése a gyártóhoz mindig a jogi státusz.
A bizalom mint infrastruktúra
A méltányosság és a szabályozás közös nevezője a bizalom. Az ellátók akkor használják a rendszert, ha értik és ellenőrizhetik, a betegek akkor fogadják el, ha a tévedésnek van felelőse és korrekciós útja. A bizalom nem kampánnyal épül, hanem az eddigi leckék fegyelmével, gondos címkék, becsületes validálás, alcsoportos kimutatás, működő felügyelet. Ahol ez megvan, ott a szabályozási megfelelés nagyrészt melléktermék. Ahol nincs, ott a leggondosabb papírmunka sem segít.
Források és további olvasnivaló
Stanford, Fundamentals of Machine Learning for Healthcare, a méltányossági és szabályozási témakörök alapján. Az EU szabályozásról az EU AI Act és GDPR megfelelés, a felelős gyakorlatról a Felelős AI a gyakorlatban kurzus.
Workshop
AI Transformation Day
Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, priorizált cselekvési lista.
Érdekel a program →