AI biztonsági kockázatok · Lecke 08

Védelmi keretek: NIST AI RMF, red teaming, emberi felügyelet

Az eddigi leckék a kockázatokat mutatták be. Ez a záró lecke összerakja a védelmet egy rendszerré. Végigvesszük a NIST keret négy funkcióját és a megbízható AI hét jellemzőjét, majd a gyakorlati eszközöket, a red teaminget, az emberi felügyeletet, a leállíthatóságot és a rétegzett védelmet.

Vissza a tananyaghoz

A NIST AI RMF négy funkciója

A NIST AI Risk Management Framework egy önkéntesen alkalmazható keret, amely a bizalomra méltóság szempontjait építi be az AI rendszerek tervezésébe, fejlesztésébe és használatába. A keret négy funkció köré szerveződik. A kormányzás, angolul Govern, teremti meg a felelősség, a szerepek és a szabályok kereteit, és átfogja a másik hármat. A feltérképezés, angolul Map, felméri a kontextust, a rendszer célját és a lehetséges kockázatokat. A mérés, angolul Measure, elemzi és számszerűsíti a kockázatokat, teszteli a rendszert. A kezelés, angolul Manage, dönt a kockázatok kezeléséről, a prioritásokról és az erőforrásokról. A négy funkció nem egyszeri lépés, hanem folyamatosan ismétlődő ciklus.

Govern kormányzás, átfog Map feltérképezés Measure mérés Manage kezelés A négy funkció folyamatosan ismétlődő ciklust alkot, a kormányzás átfogja a többit.
A NIST AI RMF négy funkciója folyamatos ciklust alkot. A Govern átfogja és összeköti a Map, a Measure és a Manage funkciókat, amelyek egymásba érnek és ismétlődnek.

A megbízható AI hét jellemzője

A NIST keret nemcsak folyamatot ad, hanem azt is meghatározza, mit jelent a bizalomra méltó, megbízható AI. Hét, egymással összefüggő jellemzőt sorol fel, amelyek gyakran csereviszonyban állnak, ezért egyensúlyozni kell köztük a konkrét kontextusban. Ez a hét jellemző együtt adja azt a mércét, amihez egy rendszert mérni lehet. Nem elég, ha egy modell pontos, ha közben nem védett a manipuláció ellen, és nem elég, ha védett, ha közben átláthatatlan és számonkérhetetlen.

  1. Érvényes és megbízhatóA rendszer betölti a rendeltetését, és a várt körülmények között következetesen teljesít.
  2. BiztonságosNem vezet olyan állapothoz, amely emberi életet, egészséget, vagyont vagy a környezetet veszélyezteti.
  3. Védett és ellenállóMegőrzi a bizalmasságot, a sértetlenséget és az elérhetőséget, és kiállja a váratlan támadásokat.
  4. Elszámoltatható és átláthatóA teljes életciklusra megfelelő információ érhető el, ami lehetővé teszi a megértést és az orvoslást.
  5. Magyarázható és értelmezhetőA működés és a kimenet érthető, a felhasználó látja, hogyan születik a döntés.
  6. Adatvédelmet erősítőA tervezés óvja az emberi önrendelkezést, az identitást és a méltóságot a megfelelő adatkezeléssel.
  7. Méltányos, a káros torzítás kezelésévelA rendszer kezeli a rendszerszintű, a számítási és az emberi gondolkodásból eredő torzításokat.

Red teaming és a rétegzett védelem

A keret mellé konkrét eszközök kellenek. A red teaming lényege, hogy a rendszert szándékosan, ellenséges szemmel próbáljuk megtörni, mielőtt éles használatba kerül, és utána rendszeresen. A cél a gyenge pontok megtalálása, mielőtt egy valódi támadó találja meg. A másik kulcs a rétegzett védelem, más néven mélységi védelem. Egyetlen kontroll sem tökéletes, ezért többet teszünk egymás mögé. A modell elé szűrő kerül a gyanús bemenetre, a modell mögé szűrő a kockázatos kimenetre, az eszközök szűk jogot kapnak, a nagy hatású műveletekhez emberi jóváhagyás társul, és minden lépés naplózódik. Ha az egyik réteg átereszt egy támadást, a következő még megfoghatja.

Bemeneti szűrő Modell Kimeneti szűrő Szűk jogú eszközök Emberi jóváhagyás RÉTEGZETT VÉDELEM Több kontroll egymás mögött, alul mindent naplózó megfigyelés és leállíthatóság.
A rétegzett védelemben több kontroll áll egymás mögött. Ha az egyik átereszt egy támadást, a következő még megfoghatja, a folyamatot pedig naplózás és leállíthatóság kíséri.

Emberi felügyelet és leállíthatóság

A rendszer legvégén két elv áll, amit soha nem szabad kihagyni. Az egyik az emberi felügyelet. A nagy hatású, nehezen visszafordítható döntéseknél embernek kell a hurokban lennie, aki jóváhagy vagy leállít, mert a modell önmagában nem garantálja a helyes döntést. A másik a leállíthatóság. Legyen egy egyértelmű, gyors mód arra, hogy egy elszabadult vagy manipulált folyamatot azonnal meg lehessen állítani, és legyen felelős, aki ezt megteheti. Ez a két elv fogja össze az egészet. A mérés, a szűrők és a jogosultságok mind arra valók, hogy csökkentsék a hibák esélyét, de amikor mégis baj van, az emberi felügyelet és a leállítás a végső biztonsági háló.

4

Négy funkció, egy szemlélet. A NIST keret kormányoz, feltérképez, mér és kezel, folyamatosan ismételve. Erre épül a red teaming, a rétegzett védelem, az emberi felügyelet és a leállíthatóság. A biztonság itt nem egy elért állapot, hanem egy fenntartott gyakorlat.

Forrás

A NIST AI Risk Management Framework (AI RMF 1.0) négy funkciója és hét megbízhatósági jellemzője, az OWASP Top 10 for LLM Applications (2025), valamint az Anthropic és az OpenAI publikált biztonsági kutatása alapján, magyar feldolgozásban.

← Előző lecke Záróteszt kitöltése →

Workshop

AI Transformation Day

Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.

Érdekel a program →