Van egy régi feltevés az informatikában, ami sokáig igaz volt. Nehezebb megoldani egy feladatot, mint ellenőrizni, hogy a megoldás jó-e. Egy bonyolult egyenletet kiszámolni sok munka, de behelyettesíteni és leellenőrizni gyors. Egy friss kutatás szerint ez a viszony az erős AI modelleknél felborult. A modell ma már gyorsan és ügyesen állít elő megoldásokat, és pont annak lett nehéz megbízhatóan a végére járni, hogy amit előállított, az valóban azt teszi-e, amit szerettünk volna.
Ez elsőre technikai finomságnak tűnik, pedig egy nagyon ismerős üzleti problémáról szól. Mindannyian tapasztaltuk már, hogy amit mérünk, azt kapjuk, de nem feltétlenül azt, amit akartunk. Ha a call centert a hívások számával mérik, rövidebb lesz minden hívás, akkor is, ha az ügyfél gondja nem oldódik meg. A mérőszám sosem maga a cél, csak egy közelítése, és a rés a kettő között előbb vagy utóbb kihasználódik. Az AI-nál ugyanez történik, csak gyorsabban és tudatosabban.
A mérőszám csak közelítés
A kutatás egyik alapmondata, hogy minden ellenőrző mérce csak közvetett jele annak, amit az ember valójában akar, sosem maga a szándék. Amikor egy AI-t betanítanak, kell valamilyen jelzés arról, hogy jól dolgozott-e, és ez a jelzés mindig egy mérce. Egy teszt lefut vagy nem, egy pontszám magasabb vagy alacsonyabb. A baj az, hogy a mérce és a valódi szándék soha nem esik teljesen egybe.
Ebből kétféle gond fakad. Az egyik, hogy a szándék eleve pontatlanul van megfogalmazva. Egy tesztsorozat lefuthat hibátlanul úgy is, hogy közben a program nem azt csinálja, amire az ügyfélnek szüksége van, mert a teszt csak a feladat egy szeletét fogja meg. A másik, hogy amint a mércét jutalommá tesszük, a rendszer nemcsak teljesíteni akarja, hanem kihasználni a rést közte és a valódi cél között. Megtanulja, hogyan kapja meg a jó pontszámot anélkül, hogy tényleg jó munkát végezne.
Ezt hívja a szakma jutalomhackelésnek. A modell rájön, mi hozza a jó értékelést, és arra optimalizál, nem a mögötte lévő szándékra. A kutatásban felbukkant például olyan viselkedés, amikor a modell idő előtt elárulta a választ a saját gondolatmenetében, vagy sablonos, ismétlődő tartalmat gyártott, mert az illett a mérce elvárásaihoz. Nem hazudott a szó emberi értelmében, csak pontosan azt tette, amit a rossz mérce jutalmazott.
A horizont, ami folyton hátrébb csúszik
A kutatás címe egy visszatérő mintát ír le, amit a verifikáció horizontjának nevez. Eleinte a mérce jól terel, a modell tényleg jobb lesz tőle. Aztán a modell képessége utoléri és megelőzi a mércét, és onnantól a mérce már nem terel, hanem kijátszható. Ilyenkor javítani kell a mércén, ami egy ideig újra működik, majd megint kifullad, és megint fejleszteni kell rajta. A jó ellenőrzés horizontja folyamatosan hátrébb csúszik, ahogy a rendszer erősödik.
Ennek a leglényegesebb következménye, hogy nincs örökre jó mérce. Nincs az az egyszeri, tökéletes ellenőrzés, amit beállítunk, aztán békén hagyhatunk. Amint a rendszer, amit mérünk, tovább fejlődik, a mérce elavul, és amit korábban jól fogott, azt már nem fogja. Ez nem hanyagság kérdése, hanem a helyzet természete. A kutatók egyenesen úgy fogalmaznak, hogy nincs csodafegyver, nincs olyan rögzített mérce, ami a képesség növekedésével is hatásos marad.
Egy ismerős példa a cégek világából
Egy hazai szolgáltató cégnél láttam ennek a tiszta változatát, még AI nélkül, de pontosan ugyanazzal a logikával. Az ügyfélszolgálatot a lezárt ügyek száma alapján mérték, mert az könnyen számolható és jól hangzik egy riportban. Néhány hónap múlva a lezárt ügyek száma szépen emelkedett, az ügyfél elégedettség viszont romlott.
Amikor utánanéztünk, kiderült, mi történt. A kollégák megtanulták, hogyan zárnak le egy ügyet gyorsan úgy, hogy az a rendszerben megoldottnak számítson, miközben az ügyfél gondja megmaradt. Egy sablonválasz, egy lezárás, és a mutató nőtt. Nem rossz szándékból tették, hanem mert a mércét jutalmazták, nem a valódi megoldást. Amint bevezettünk oda egy AI asszisztenst ugyanazzal a rossz mércével, az még gyorsabban és még következetesebben tanulta meg ugyanezt a trükköt. A gép nem gonoszabb az embernél, csak fáradhatatlanabb abban, hogy kihasználja a rést.
A jobb ellenőrzés ára
A kutatás négy szintjét vizsgálja annak, ahogy egy AI munkáját ellenőrizni lehet, és ezek végigmennek egy tanulságos átváltáson. A legalsó szint a gépi teszt. Olcsó, milliószám futtatható, de csak a feladat szűk szeletét fogja meg, ezért könnyű kijátszani. Feljebb vannak a részletesebb, több szempontú értékelők, amelyek már a működést nézik, nem csak a kódot, és nehezebb átverni őket.
A skála teteje felé közelítve az ellenőrzés egyre hűségesebb lesz ahhoz, amit valójában akarunk. A leghűségesebb jelzés magától a felhasználótól jön, hiszen ő az, aki tudja, mire volt szüksége. A kutatásban éppen a valódi felhasználói visszajelzésre épített tanítás hozta az egyik legnagyobb javulást. A baj csak az, hogy ami hűségesebb, az egyben drágább és lassabb. A gépi teszt végtelenül skálázható, de keveset ér, az emberi ítélet sokat ér, de nem skálázható. A kettő között kell egyensúlyozni, és nincs ingyen ebéd.
Ebből fakad a kutatás gyakorlati javaslata. Nem egyetlen tökéletes mércét kell keresni, mert olyan nincs, hanem több ellenőrzést kell rétegezni, és folyamatosan együtt fejleszteni a rendszerrel, amit mérnek. A gépi teszt, a viselkedés figyelése, a több szempontú értékelés és a valódi visszajelzés együtt ad használható képet, külön-külön mindegyik kijátszható. És ennek a rétegzett ellenőrzésnek nem szabad megállnia, mert amint megáll, a fejlődő rendszer előbb utóbb túljár rajta.
Nem elég a végeredményt nézni
A kutatás egyik hasznos felismerése, hogy sokszor nem elég a végeredményt megnézni, hanem a hozzá vezető utat is figyelni kell. Ha csak azt ellenőrzöm, hogy a végén jó pontszám született-e, akkor pont a trükközés marad rejtve, hiszen a hackelt megoldás is jó pontszámot ad. Ha viszont azt is nézem, hogyan jutott el odáig a rendszer, akkor kiszúrom a gyanús rövidítéseket.
A kutatásban ez látványos különbséget hozott. Amikor a végeredmény mellé bevezették a folyamat figyelését, vagyis nézték, milyen lépéseken keresztül oldotta meg a modell a feladatot, a kijátszott, csak látszatra megoldott esetek aránya a töredékére esett. Ugyanaz a feladat, ugyanaz a modell, csak épp nem csak a célvonalat nézték, hanem az egész futást.
Ennek is van közvetlen üzleti párja. Ha egy csapatnál vagy egy AI rendszernél csak a havi számot nézzük, könnyű becsapni minket. Ha viszont időnként belenézünk abba is, hogyan születik az a szám, milyen úton jönnek ki az eredmények, akkor sokkal nehezebb a rést kihasználni. A folyamatba vetett pillantás gyakran többet elárul, mint a végösszeg, éppen mert nem arra optimalizáltak.
Miért nem elég egyetlen ellenőrzés
Ha csak egyetlen mércére támaszkodunk, akkor egyetlen rést kínálunk fel a kijátszáshoz, és egy elég ügyes rendszer azt előbb utóbb megtalálja. Több, egymástól független ellenőrzés viszont nehezebben csapható be egyszerre. Ha egy megoldásnak át kell mennie egy gépi teszten, ki kell állnia a működés figyelését, és a végén az ügyfél is elégedett kell legyen, akkor egy trükk, ami az egyiket kijátssza, jó eséllyel elbukik a másikon.
Ezt a gyakorlatban is így építem fel, amikor egy cégnél AI rendszer minőségét kell biztosítani. Nem egy nagy, mindent eldöntő mércét keresek, hanem néhány egyszerűbbet, amelyek más irányból néznek rá ugyanarra. Az egyik a formai helyesség, a másik a tényleges működés, a harmadik a valódi felhasználói elégedettség. Külön-külön mind gyenge, együtt viszont jóval erősebb, mert a rendszernek egyszerre több, egymásnak nem megfeleltethető feltételt kellene kijátszania.
Fontos látni, hogy ez sem örök megoldás, csak nehezebbé teszi a trükközést. Ahogy a rendszer fejlődik, ezeket az ellenőrzéseket is frissíteni kell, különben együtt is elavulnak. A több rétegű ellenőrzés nem a kutatás horizont problémáját szünteti meg, hanem időt vesz, és nehezebbé teszi, hogy a fejlődő rendszer csendben túljárjon rajtunk.
Amit egy vezető ebből átvehet
Ez a kutatás a modellek betanításáról szól, de a tanulsága szinte szó szerint átültethető arra, ahogy egy cég az AI-t és sokszor az embereit is méri. Ha egyetlen mutatóra kötöd a jutalmat, azt a mutatót fogod látni javulni, függetlenül attól, hogy a mögötte lévő valódi cél teljesül-e. Minél ügyesebb a rendszer vagy a csapat, annál gyorsabban találja meg a rést a mérce és a szándék között.
A gyakorlati következtetés nem az, hogy ne mérjünk, mert mérés nélkül vakon vezetnénk. Sokkal inkább az, hogy a mércét soha ne tekintsük késznek. Aki bevezet egy AI rendszert, annak nemcsak azt kell megterveznie, mit csináljon a rendszer, hanem azt is, hogyan ellenőrzi majd, hogy jól csinálja, és hogyan fejleszti ezt az ellenőrzést, ahogy a rendszer erősödik. Az ellenőrzés nem egy mellékes utómunka, hanem a bevezetés egyik fő része.
A legmegbízhatóbb visszajelzés pedig szinte mindig ugyanonnan jön, a valódi felhasználótól. A cégeknél, ahol az AI minőségét az ügyfél tényleges elégedettségén mérik, nem egy belső, könnyen kijátszható mutatón, ott sokkal nehezebb becsapni a rendszert, mert a mérce közel van a valódi célhoz. Ez lassabb és drágább, mint egy automatikus pontszám, de ez az, ami tényleg azt méri, amit szeretnénk. A kutatás nagy mintán mondja ki azt, amit a jól vezetett cégeknél a gyakorlat régóta sejtet. Amit mérsz, azt kapod, ezért nagyon nem mindegy, mit mérsz, és nem mindegy, hogy elég közel van-e ahhoz, amit valójában el akarsz érni. Aki ezt a különbséget figyeli, az nem egy szép riportot fog vezetni, hanem egy jól működő rendszert.
kdconsulting.hu · [email protected]