Generatív kockázatok, deepfake, hallucináció, adverszariális példa

Az adathalász levél, aminek már nincs árulkodó jele

Évekig arra tanítottuk a kollégákat, hogy figyeljék a helyesírási hibát, a furcsa megszólítást, a tört magyarságot. Ez a tanács már a generatív modellek előtt is gyenge volt, mert a jó támadó akkor is gondosan fogalmazott, és a legtöbb ember nem tudta megbízhatóan megkülönböztetni az adathalász levelet a valóditól. A modellek megjelenése után a maradék támpont is eltűnt.

Egy mai adathalász levél hibátlan nyelvtannal, a cég belső szóhasználatával és a címzettre szabott hangnemmel érkezik, hivatkozik a tegnapi értekezletre, és a főnök aláírásával zárul. A levél külső jegyeiből már nem lehet tévedésre következtetni. A védekezés ezért nem a felhasználó szeme, hanem a folyamat. Mi történik, ha egy levél pénzmozgást vagy jelszót kér? Ha erre a válasz az, hogy a címzett eldönti, a cég a támadó kezében van.

Hang, amikor a telefonos visszaigazolás elveszti az értékét

A hang klónozása ma már rövid hangmintából megy. Néhány másodperc egy nyilvános videóból, egy konferencia előadásból vagy egy hangüzenetből, és a modell bármit kimondat az illetővel, az ő hangszínén, az ő beszédritmusával. A pénzügyi vezető hangja így kéri a sürgős utalást a könyvelőtől péntek délután.

Ezzel a telefonos megerősítés mint biztonsági lépés elveszti az értékét. Sok magyar cégnél ma is az a szabály, hogy nagyobb utalás előtt a könyvelő felhívja a vezetőt. Ha a hívás a támadótól érkezik a vezető hangján, a szabály a támadót szolgálja. A hang önmagában többé nem bizonyíték, csak akkor, ha én kezdeményezem a hívást egy ismert, előre rögzített számra.

A szabály ezért megfordul. A megerősítés akkor ér valamit, ha a megerősítő fél kezdeményezi, saját eszközről, saját listából vett számon. A beérkező hívás legfeljebb jelzés arra, hogy ellenőrizni kell.

Videó, a védekezés a folyamatban van, nem a felismerésben

A videós deepfake felismerhetősége folyamatosan romlik. Ami egy éve még árulkodott, a furcsa pislogás, a kéz torzulása, az ma már nincs ott, és ami ma árulkodik, az egy éven belül eltűnik. Aki a felismerésre épít, folyamatosan vesztésre áll, mert a támadó mindig egy lépéssel előbb jár.

A védekezés ezért a folyamatban van, nem a felismerésben. Pénzügyi jóváhagyásnál három elem kell. Visszahívás egy ismert, előre rögzített számon, nem azon, amiről a kérés érkezett. Egy előre megbeszélt kódszó, amit a videón vagy a telefonban kérő félnek ismernie kell. És megerősítés egy külön csatornán, ha a kérés emailben jött, akkor telefonon vagy személyesen, ha videóhíváson, akkor írásban. Ez a három lépés néhány percet vesz igénybe, és a videó minőségétől teljesen független.

Hallucináció, a magabiztos tévedés

A nyelvi modell nem jelzi, ha nem tudja a választ. Statisztikai alapon a legvalószínűbb következő szót adja, és ezt ugyanolyan magabiztos hangon teszi, akár helyes, akár nem. Ezt nevezzük hallucinációnak, és nem hiba a szó szokásos értelmében, hanem a módszer következménye.

A Google Bard 2023 márciusi nyilvános bemutatóján a modell a James Webb űrtávcsőről beszélt. A válaszban helyes és helytelen állítás keveredett. A modell azt állította, hogy ez a távcső készítette az első képet egy Naprendszeren kívüli bolygóról, holott ilyen felvétel már 2004-ben született, a Webb távcső pedig 2021-ben indult. A szöveg folyékony volt, a részletek nagy része stimmelt, és ebbe a hiteles környezetbe simult bele a téves mondat.

A keveredés a veszélyes, mert a helyes részletek hitelesítik a hamisat. A teljesen rossz választ az olvasó kiszúrja. Egy kilencven százalékban helyes válaszban viszont a tíz százalék tévedés átcsúszik, és onnantól egy szerződésben, egy orvosi összefoglalóban vagy egy pénzügyi jelentésben él tovább.

Adverszariális példa, a stoptábla, amit az autó nem lát

A gépi látás rendszerei is becsaphatók, és ez a támadás az emberi szem számára láthatatlan. Néhány jól elhelyezett ragasztócsík a stoptáblán elég ahhoz, hogy egy önvezető autó neurális hálója sebességkorlátozó táblát lásson. Az ember ugyanazt a stoptáblát látja, kicsit megrongálva. A bemenet az ember számára változatlannak látszik, a modell számára viszont teljesen más.

Ezt hívjuk adverszariális példának. A támadó megkeresi azt az apró változtatást, ami a modell belső súlyai között a legnagyobb kilengést okozza. Ugyanez a logika működik a képfelismerő beléptető rendszereknél, a dokumentum ellenőrzésnél és a tartalomszűrőknél. Ahol egy modell dönt ember nélkül, ott valaki egyszer meg fogja keresni azt a ragasztócsíkot.

Vállalati környezetben ez azt jelenti, hogy egy képfelismerésre épülő döntésnél mindig kell egy második, független ellenőrzés, legalább mintavételesen, és a rendszer tévedéseit valaki rendszeresen átnézi.

Ember a hurokban, a modell javasol, ember dönt

Mindebből egy elv következik, amit angolul human in the loop néven ismer a szakma, magyarul ember a hurokban. Nagy tétű munkafolyamatnál a modell javasol, és ember dönt. A modell előkészíti az utalást, ember hagyja jóvá. Szerződéstervezetet ír, a jogász olvassa el. Leletet foglal össze, az orvos írja alá.

Ez nem csak józan ész, a szolgáltatók is ezt várják el. A nagy modellszolgáltatók felhasználási feltételei bizonyos területeken, a jogi, egészségügyi, pénzügyi és újságírói munkában emberi felülvizsgálatot írnak elő. Aki ezt kihagyja, a saját felelősségét növeli, miközben a szolgáltató felelősségét a feltételek szerint csökkenti. A hurokban ülő ember nem lassítás, hanem az a pont, ahol a visszafordíthatatlan lépés előtt még meg lehet állni.