AI rendszerek termelésben · Lecke 06

Guardrailek és biztonsági határok

Egy ágens autonómiája hasznos, de határok nélkül kockázatos. A guardrailek és a jóváhagyási pontok azt biztosítják, hogy a rendszer szabadon dolgozhasson ott, ahol biztonságos, és megálljon ott, ahol nem.

Vissza a tananyaghoz


A homokozó tesztelés szerepe

Mielőtt egy ágensrendszer valódi, éles hatással bíró műveleteket végezhetne, extenzív tesztelésen kell átesnie homokozó, vagyis elszigetelt környezetben, ahol a hibás döntések nem okoznak valódi kárt. Ez a lépés nem opcionális extra, hanem a termelésre állás előfeltétele minden olyan rendszernél, ami fájlokat módosít, pénzügyi tranzakciót indít vagy külső rendszerekkel kommunikál.

A Claude Code hivatalos best practices dokumentációja ezt az elvet Plan Mode formájában is megjeleníti, ahol az ágens előbb egy strukturált tervet mutat be, mielőtt bármilyen fájlt módosítana. Ez lehetőséget ad az embernek arra, hogy jóváhagyja vagy módosítsa a tervet, mielőtt a végrehajtás elkezdődne.


Szervezeti szabályzat Rendszer guardrail Eszköz szintű korlát Ágens minden réteg szűkíti a mozgásteret, mielőtt cselekvés történne
Beágyazott guardrail rétegek, a szervezeti szabálytól az eszköz szintű korlátig.

Jóváhagyási pontok kritikus műveletek előtt

Nem minden lépésnél kell emberi jóváhagyás, ez lelassítaná a rendszert feleslegesen. A jó gyakorlat azt jelenti, hogy az alacsony kockázatú lépéseket az ágens önállóan végzi, míg a visszafordíthatatlan vagy magas kockázatú műveletek, például adattörlés, pénzügyi tranzakció vagy külső kommunikáció előtt egyértelmű jóváhagyási pont épül be a folyamatba.


Alacsony kockázat ágens önállóan dönt Közepes kockázat naplózás, felügyelet Magas kockázat emberi jóváhagyás kell a kockázat szintje határozza meg, hol áll meg a rendszer és vár emberi döntésre, mielőtt cselekedne
A kockázati szint alapján az ágens vagy önállóan dönt, vagy megáll egy jóváhagyási pontnál.

Hogyan tervezz guardraileket egy vállalati rendszerhez

Érdemes a lehetséges hibás kimeneteket előre végiggondolni, és minden kockázati szintre külön szabályt felállítani. A szervezeti szintű szabályzat, a rendszer szintű technikai korlát és az eszköz szintű validáció együtt olyan hálót alkot, ami akkor is megfogja a hibát, ha egy réteg kivételesen elmulasztja azt.


Forrás

Anthropic "How we built our multi-agent research system", "Writing effective tools for AI agents" és a hivatalos Claude Code best practices dokumentáció magyar feldolgozása.


← Előző lecke Következő lecke →

Workshop

AI Transformation Day

Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.

Érdekel a program →