Mi az OWASP LLM Top 10
Az OWASP egy nonprofit szervezet, amely a szoftverbiztonság területén régóta ismert a Top 10 listáiról. Ezek a listák a leggyakoribb és legsúlyosabb kockázatokat rangsorolják, hogy a fejlesztők és a döntéshozók tudják, mire figyeljenek először. A nyelvi modellekre épülő alkalmazásokhoz külön lista készült, az OWASP Top 10 for LLM Applications. A jelenlegi, 2025-ös kiadás tíz kockázatot nevez meg, LLM01-től LLM10-ig. Nem a súlyosság szigorú sorrendje, hanem egy közösen elfogadott térkép a legfontosabb veszélyekről. A következő leckék ezek közül a legfontosabbakat részletesen is kibontják.
Bemeneti réteg
Az első csoport azzal foglalkozik, ami a modellbe bemegy. Az LLM01 Prompt injekció a legismertebb kockázat. A támadó úgy fogalmaz meg egy bemenetet, hogy az felülírja a modell eredeti utasításait, és a modell a támadó szándéka szerint viselkedjen. Ez lehet közvetlen, amikor a felhasználó maga írja be a manipulált kérést, és lehet közvetett, amikor a rejtett utasítás egy beolvasott dokumentumban vagy weboldalon lapul. A másik ide tartozó tétel az LLM07 Rendszerprompt kiszivárgása, amikor a modellt rá lehet venni, hogy elárulja a saját rejtett, fejlesztői utasításait. Ha a rendszerpromptban titkos kulcs vagy belső szabály van, annak nyilvánosságra kerülése önmagában is kár.
Adat és modell réteg
A második csoport a modell és a mögötte álló adat épségéről szól. Az LLM03 Ellátási lánc sebezhetőségei arról szól, hogy egy modern AI rendszer sok külső elemre épül, előtanított modellekre, adathalmazokra, könyvtárakra és bővítményekre, és ezek bármelyike lehet sérült vagy manipulált. Az LLM04 Adat és modell mérgezés azt a helyzetet írja le, amikor valaki a tanítás, a finomhangolás vagy a beágyazás fázisában szándékosan rontott adatot juttat a rendszerbe, hogy a modell viselkedését eltérítse. Az LLM08 Vektor és beágyazás gyengeségei a keresésre épülő rendszereket érinti, ahol a dokumentumokat vektorként tároljuk, és a hibás vagy megmérgezett vektortár rossz vagy szivárogtató válaszokhoz vezethet.
Kimeneti réteg
A harmadik csoport azzal foglalkozik, ami a modellből kijön. Az LLM02 Érzékeny információ kiszivárgása akkor történik, ha a modell olyan bizalmas adatot ad vissza a válaszában, aminek nem kellene kikerülnie, például más felhasználó adatát vagy belső üzleti információt. Az LLM05 Nem megfelelő kimenetkezelés arról szól, hogy a modell kimenetét sokszor további rendszerek dolgozzák fel, és ha ezt a kimenetet ellenőrzés nélkül futtatjuk vagy jelenítjük meg, az kódfuttatáshoz vagy más downstream támadáshoz vezethet. Az LLM09 Téves információ pedig azt a kockázatot nevezi meg, hogy a modell magabiztosan állíthat valótlant, és ha erre a szervezet kritikus döntést épít, abból valós kár lesz.
Ügynöki és rendszerréteg
A negyedik csoport akkor válik fontossá, amikor a modell nem csak beszél, hanem cselekszik is. Az LLM06 Túlzott önállóság, angolul excessive agency, azt a helyzetet írja le, amikor a modellnek túl sok funkciót, túl széles jogosultságot vagy túl nagy önállóságot adunk, és így egy hibás vagy manipulált döntés valós műveletet indíthat el. Az LLM10 Korlátlan erőforrásfelhasználás arról szól, hogy a modell hívása erőforrásba és pénzbe kerül, és ha nincs rá korlát, egy támadó túlterhelheti a rendszert vagy elszabott költséget okozhat. Ez a két tétel a hatodik leckében részletesen is előkerül, mert az ügynökök kora ezeket a kockázatokat helyezi előtérbe.
- Bemeneti rétegLLM01 prompt injekció és LLM07 rendszerprompt kiszivárgása, ami a modellbe bemegy.
- Adat és modell rétegLLM03 ellátási lánc, LLM04 adat és modell mérgezés, LLM08 beágyazás gyengeségei.
- Kimeneti rétegLLM02 érzékeny információ kiszivárgása, LLM05 kimenetkezelés, LLM09 téves információ.
- Ügynöki és rendszerrétegLLM06 túlzott önállóság és LLM10 korlátlan erőforrásfelhasználás.
Tíz kockázat, egy térkép. A 2025-ös OWASP kiadás tíz tétele nem elszigetelt hibalista, hanem egy közösen elfogadott térkép. A következő leckék a leggyakoribbakat, a prompt injekciót, az adatszivárgást, az ügynökök kockázatait és az adatmérgezést bontják ki részletesen.
Workshop
AI Transformation Day
Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.
Érdekel a program →