Mit jelent az adatszivárgás egy modellnél
Az OWASP LLM02 tétele az érzékeny információ kiszivárgásáról szól. Érzékeny adat lehet személyes adat, például név, cím vagy egészségügyi információ, lehet hozzáférési kulcs vagy jelszó, és lehet üzleti titok, például árazás, szerződés vagy belső stratégia. A kiszivárgás akkor történik, amikor ilyen adat olyan helyre kerül, ahová nem lenne szabad, és ez egy nyelvi modellnél két irányban is megtörténhet. Az egyik, hogy érzékeny adatot juttatunk a modellbe, amely aztán naplóba, tárolt előzménybe vagy akár tanítóadatba kerül. A másik, hogy a modell a válaszában ad vissza olyat, aminek titokban kellett volna maradnia.
A bemeneti oldal: mit teszünk a modellbe
A leggyakoribb valós hiba, hogy a felhasználók érzékeny adatot másolnak be egy nyilvános asszisztensbe, például egy teljes szerződést vagy ügyféladatot, hogy összefoglaltassák. Ezzel az adat kikerül a szervezet ellenőrzése alól, és a szolgáltató feltételeitől függően naplóba vagy tárolt előzménybe kerülhet. A védekezés első lépése ezért nem technikai, hanem szabályozási. A szervezetnek egyértelmű irányelvet kell adnia arról, milyen adatot szabad AI eszközbe tenni és milyet nem, és érdemes olyan megoldást választani, ahol a bemenet nem kerül vissza a tanításba. A kevesebb adat elve itt is érvényes, csak azt add a modellnek, ami a feladathoz tényleg kell.
- Betanult adat visszaadásaA modell a tanítás során látott szövegrészletet szó szerint is visszaadhat, ha nem védik ellene.
- Rendszerprompt kiszivárgásaHa a rejtett fejlesztői utasításban titok van, egy ügyes kérdés kicsalhatja azt.
- Keresési résA keresésre épülő rendszer olyan dokumentumot adhat vissza, amit az adott felhasználónak nem lenne szabad látnia.
- Naplók és előzményekA beírt érzékeny adat tárolt naplóba kerül, és onnan egy másik hibán át szivároghat ki.
A kimeneti oldal: mit ad vissza a modell
A kimeneti oldalon több forgatókönyv is van. A modell a tanítás során látott adatot bizonyos esetekben szó szerint vissza tudja adni, ezt hívják a betanult adat visszaadásának. Külön kockázat a rendszerprompt kiszivárgása, amit az OWASP LLM07 néven külön is nevesít. Ha a fejlesztő a rejtett utasításba beleírt egy hozzáférési kulcsot vagy egy belső szabályt, egy ügyes kérdéssel a támadó rábírhatja a modellt, hogy elárulja azt. Ezért az alapszabály, hogy a rendszerpromptba sosem kerül titok, azt mindig külön, biztonságos helyen kell tárolni. A harmadik eset a keresésre épülő rendszereké, ahol a modell a válaszhoz dokumentumokat keres elő, és ha a jogosultságok nincsenek rendben, olyan tartalmat is előhozhat, amihez az adott felhasználónak nem lenne joga.
Növeli a szivárgás esélyét
- Titok a rendszerpromptban
- Érzékeny adat a nyilvános asszisztensben
- Jogosultság nélküli közös vektortár
- Kimenet szűrés nélkül továbbadva
Csökkenti a szivárgás esélyét
- Adatminimalizálás, csak a szükséges adat
- Titok külön, biztonságos tárolóban
- Jogosultság a keresés szintjén is
- Kimeneti szűrés és adatveszteség védelem
A védekezés váza
Az adatszivárgás ellen nincs egyetlen csodaszer, több réteg együtt véd. A bemeneti oldalon az adatminimalizálás és a világos használati szabály a legfontosabb. A tárolás oldalán a titkokat sosem a promptba, hanem külön kulcstárolóba tesszük, és a naplókat úgy kezeljük, mint bármely más érzékeny adatot. A keresésre épülő rendszereknél a jogosultságot nem elég a felületen érvényesíteni, a keresés szintjén is szűrni kell, hogy csak az adott felhasználó számára engedélyezett dokumentumok kerüljenek a kontextusba. A kimeneti oldalon pedig érdemes olyan szűrőt tenni, amely felismeri és blokkolja a személyes adat vagy a titok kiszivárgását, mielőtt a válasz a felhasználóhoz ér.
Két irány, egy elv. Akár bemegy, akár kijön, a kérdés mindig ugyanaz. Kell-e ennek az adatnak itt lennie. Ha nem, akkor a legjobb védelem, ha oda sem kerül. Az adatminimalizálás a bemeneti és a kimeneti oldalon egyaránt a legerősebb és legolcsóbb védelem.
Workshop
AI Transformation Day
Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.
Érdekel a program →