Mi az adatmérgezés
Az adatmérgezés, angolul data poisoning, akkor történik, amikor valaki szándékosan rontott adatot juttat abba az anyagba, amiből a modell tanul, vagy amivel dolgozik. A cél a modell viselkedésének eltérítése. Az OWASP ezt LLM04 néven adat és modell mérgezésként tartja számon, és három fázist nevez meg, ahol ez megtörténhet. Az első az előtanítás, amikor a modell hatalmas, jórészt az internetről gyűjtött adathalmazon tanul. A második a finomhangolás, amikor egy kész modellt kisebb, célzott adathalmazon idomítanak egy feladatra. A harmadik a beágyazás, vagyis a keresésre épülő rendszerek adatbázisa, ahonnan a modell menet közben tölt be dokumentumokat.
Hogyan működik egy hátsó kapu
A mérgezés egyik legveszélyesebb formája a hátsó kapu, angolul backdoor. A lényege, hogy a modell a legtöbb helyzetben teljesen normálisan viselkedik, és csak akkor kapcsol át a rontott viselkedésre, ha egy meghatározott kiváltó jel, egy trigger jelenik meg a bemenetben. Ez lehet egy ritka szó, egy dátum vagy egy formátum. Éppen ezért nehéz észrevenni. A szokásos tesztek során a modell rendben teljesít, mert a trigger nem szerepel, a támadó viszont pontosan tudja, mivel aktiválja a rejtett viselkedést. A hátsó kapu tehát nem folyamatos hiba, hanem egy alvó, célzottan aktiválható eltérítés.
- Rejtett minta beépülA mérgezett adat egy triggert köt össze egy rontott viselkedéssel a tanítás alatt.
- Normál működésA trigger nélkül a modell rendben teljesít, a szokásos teszteken nem bukik meg.
- Trigger megjelenikA támadó beteszi a kiváltó jelet a bemenetbe, amit ő ismer, más nem.
- Rontott viselkedés aktiválódikA modell átkapcsol a betanított káros viselkedésre, célzottan.
Mit mutatott egy kontrollált kutatás
Hogy ez a kockázat ne csak elméleti legyen, érdemes felidézni az Anthropic egy publikált kísérletét. A kutatók egy kontrollált kísérletben szándékosan építettek hátsó kaput egy modellbe, majd megvizsgálták, hogy a szokásos biztonsági tanítási módszerek eltávolítják-e. Az eredmény óvatosságra int. A hátsó kapuval ellátott viselkedés a bevett biztonsági tanítás után is megmaradt, tehát a szokásos eljárások nem távolították el megbízhatóan a rejtett eltérítést. A tanulság nem az, hogy a mai modellek tele vannak hátsó kapukkal, hanem az, hogy ha egy hátsó kapu egyszer bekerül, azt utólag nagyon nehéz megbízhatóan kivenni. Ezért itt a megelőzés, vagyis a tiszta forrás sokkal többet ér, mint az utólagos javítás.
Az ellátási lánc és a proveniencia
Az adatmérgezés szorosan összefügg az OWASP LLM03 tételével, az ellátási lánc sebezhetőségeivel. Egy modern AI rendszer ritkán készül a nulláról. A szervezetek kész, letöltött modelleket, külső adathalmazokat, könyvtárakat és bővítményeket építenek be, és ezek bármelyike lehet mérgezett vagy manipulált. Ezért a modellt és az adathalmazt ugyanúgy kell kezelni, mint bármely más ellátási lánc elemet. Ellenőrizni kell a forrás megbízhatóságát, a proveniences, vagyis az eredet nyomon követhetőségét, és ahol lehet, a kiadó által megadott ellenőrzőösszeget vagy aláírást. A finomhangoláshoz használt adatot pedig érdemes gondosan összeválogatni és átnézni, mert egy nagyobb, ellenőrizetlen adathalmazba könnyebb rejtett mintát csempészni.
Növeli a mérgezés kockázatát
- Ismeretlen forrásból letöltött modell
- Ellenőrizetlen, nagy finomhangoló adat
- Nyílt, bárki által írható keresési adatbázis
- Nincs eredetkövetés és aláírás-ellenőrzés
Csökkenti a mérgezés kockázatát
- Megbízható, követhető eredetű modell
- Gondosan összeválogatott tanítóadat
- Jogosultsághoz kötött keresési tartalom
- Ellenőrzőösszeg és aláírás igazolása
Három fázis, egy szabály. Akár előtanítás, akár finomhangolás, akár beágyazás, a kérdés mindig ugyanaz. Honnan jött ez az adat, és megbízom-e a forrásban. A mérgezést utólag nehéz kivenni, ezért a tiszta, követhető eredetű forrás a legfontosabb védelem.
Workshop
AI Transformation Day
Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.
Érdekel a program →