Mi az ügynök és miért nő vele a tét
Az ügynök egy nyelvi modell, amely eszközöket kap a kezébe, és egy ciklusban működik. Kap egy célt, eldönti a következő lépést, meghív egy eszközt, például lekérdez egy adatbázist, elküld egy emailt vagy módosít egy fájlt, megnézi az eredményt, majd dönt a következő lépésről. Ez a képesség teszi hasznossá, de ez emeli a tétet is. Egy sima chatbotnál a prompt injekció legrosszabb esetben egy megtévesztő választ eredményez. Egy ügynöknél ugyanaz az injekció valós műveletet indíthat el, mert a modell hozzáfér az eszközökhöz. A cselekvőképesség és a kockázat együtt nő.
A túlzott önállóság három gyökéroka
Az OWASP LLM06 tétele, a túlzott önállóság, három gyökérokot különböztet meg. Az első a túlzott funkció, amikor az ügynök több eszközt vagy műveletet kap, mint amennyire a feladatához szüksége van. Minden felesleges eszköz egy plusz kockázat. A második a túlzott jogosultság, amikor az eszközök szélesebb jogot kapnak a kelleténél, például egy összefoglaló ügynök nemcsak olvasni, hanem törölni is tud. A harmadik a túlzott autonómia, amikor az ügynök nagy hatású, nehezen visszafordítható műveletet is elvégezhet emberi jóváhagyás nélkül. A három ok gyakran együtt jár, és külön külön is baj.
- Túlzott funkcióAz ügynöknek több eszköze van, mint amennyi a feladathoz kell, így nagyobb a támadható felület.
- Túlzott jogosultságAz eszközök szélesebb jogot kapnak a szükségesnél, például írási jogot ott, ahol olvasás elég lenne.
- Túlzott autonómiaNagy hatású, nehezen visszafordítható művelet is lefut emberi jóváhagyás nélkül.
Az eszközvisszaélés és a megtévesztett ügynök
A gyakorlatban a legnagyobb veszélyt az jelenti, amikor a támadó nem magát az ügynököt töri fel, hanem ráveszi, hogy a saját, teljesen legális eszközeit használja a támadó céljára. Ez gyakran közvetett prompt injekcióval történik. Az ügynök beolvas egy dokumentumot vagy weboldalt, amelyben rejtett utasítás lapul, és ez az utasítás arra bírja, hogy elküldjön egy emailt, továbbítson egy fájlt vagy módosítson egy rekordot. Az ügynök nem hibázik technikai értelemben, pontosan azt teszi, amire képes, csak épp a támadó szándéka szerint. Ezért a védekezés kulcsa nem az, hogy a modellt tökéletesen megbízhatóvá tegyük, hanem hogy szűkre szabjuk, mit tud egyáltalán megtenni.
A legkisebb jogosultság elve
A védekezés vezérelve az információbiztonságból jól ismert legkisebb jogosultság elve. Az ügynök pontosan annyi eszközt és annyi jogot kapjon, amennyi a feladatához feltétlenül kell, se többet. A három gyökérokra három válasz adódik. A túlzott funkció ellen szűkítsük az eszközök körét arra, ami a konkrét célhoz szükséges. A túlzott jogosultság ellen adjunk minden eszköznek szűk, jól körülhatárolt jogot, például olvasási jogot írási jog helyett, ahol az elég. A túlzott autonómia ellen pedig a nagy hatású, nehezen visszafordítható műveletekhez tegyünk emberi jóváhagyást a folyamatba, és minden műveletet naplózzunk, hogy utólag követhető legyen, mi és miért történt.
Egy kérdés minden ügynöknél. Mi a legrosszabb, amit ez az ügynök meg tud tenni, ha félrevezetik. Ha a válasz egy visszafordíthatatlan, nagy kárt okozó művelet, akkor oda emberi jóváhagyás kell, vagy az adott jogot el kell venni tőle.
Workshop
AI Transformation Day
Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.
Érdekel a program →