Két külön fogalom
Az átláthatóságot és a magyarázhatóságot gyakran összemossák, pedig két különböző dologról van szó, és a NIST is külön megbízhatósági jellemzőként kezeli őket. Az átláthatóság magáról a rendszerről szól. A Microsoft megfogalmazásában az AI rendszereknek érthetőnek kell lenniük, az emberek helyesen értsék, mit tud és mit nem tud egy rendszer. Ide tartozik az is, hogy az érintett tudja, egyáltalán AI-val van dolga. A magyarázhatóság ezzel szemben egy konkrét kimenetre vonatkozik, arra a kérdésre, hogy egy adott döntés miért éppen úgy született. A kettő összefügg, de nem ugyanaz, és a gyakorlatban külön eszközökkel biztosítjuk őket.
Magyarázható és értelmezhető
A NIST a magyarázhatóságon belül tovább bont, és két fogalmat használ, az explainable és az interpretable jellemzőket. A magyarázható (explainable) arra utal, hogy le tudjuk írni azokat a mechanizmusokat, amelyek a rendszer működése mögött állnak, tehát hogyan jut el a rendszer a kimenethez. Az értelmezhető (interpretable) azt jelenti, hogy a kimenet jelentését meg tudjuk ragadni abban a kontextusban, amelyre a rendszert szánták, tehát mit jelent a válasz a felhasználó számára. A kettő együtt adja, hogy a döntés ne csak technikailag legyen visszakövethető, hanem az érintett számára is értelmes és használható legyen. Egy hitelbírálati modellnél például nem elég tudni, mely számok álltak a döntés mögött, azt is meg kell tudni fogalmazni, mit tegyen az ügyfél a következő alkalommal.
Átláthatatlan rendszer
- Nem tudni, milyen adatból tanult
- A korlátai rejtve maradnak
- Az érintett nem tudja, hogy AI dönt
- A döntés nem indokolható meg
Átlátható rendszer
- Dokumentált a rendeltetés és az adat
- A korlátok nyíltan kommunikáltak
- Az érintett tudja, hogy AI vesz részt
- A döntés érthetően megindokolható
Az átláthatóság gyakorlati eszközei
Az átláthatóság nem elvont ígéret, hanem konkrét anyagokban ölt testet. A Google gyakorlatában az egyik legfontosabb eszköz a modellkártya (model card), egy strukturált leírás arról, mire való a modell, milyen adatból tanult, milyen körülmények között teljesít jól, és hol vannak a korlátai. Emellett rendszeres jelentések és a rendeltetés dokumentálása segít abban, hogy az érintettek megértsék a rendszer képességeit és korlátait. Ehhez társul az emberek felé irányuló nyílt tájékoztatás, hogy egy adott interakcióban AI vesz részt. Ezek együtt teszik lehetővé, hogy az átláthatóság ne csak elvárás, hanem ellenőrizhető gyakorlat legyen.
Az átláthatóság ára és haszna
Az átláthatóságnak megvan a maga egyensúlya. A legpontosabb modellek gyakran a legkevésbé átláthatóak, és egy egyszerűbb, jobban magyarázható modell néha kicsit pontatlanabb. A NIST ezt is a megbízhatóság jellemzői közötti mérlegelésként kezeli, nincs univerzális helyes válasz, a döntést a kontextushoz kell igazítani. Egy alacsony tétű, belső ajánlórendszernél elfogadható a kevésbé magyarázható, de pontosabb megoldás. Egy embereket érintő, nagy tétű döntésnél viszont az átláthatóság és a magyarázhatóság gyakran fontosabb, mint az utolsó néhány százaléknyi pontosság. Az átláthatóság így nem lassítja a felelős szervezetet, hanem lehetővé teszi, hogy a döntéseit megvédje és javítsa.
Két külön kérdés. Az átláthatóság arra válaszol, mit tud a rendszer, a magyarázhatóság arra, miért ezt a döntést hozta. A felelős szervezet mindkettőre készül, nem csak az egyikre.
Workshop
AI Transformation Day
Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.
Érdekel a program →