A prompt engineering öröksége
A prompt engineering azzal foglalkozik, hogyan fogalmazzuk meg optimálisan az instrukciókat egy adott kérdéshez vagy feladathoz. Jó szófordulatok, világos elvárások, releváns példák, mind ide tartoznak. Ez a diszciplína jól működik egyszeri, jól körülhatárolt kéréseknél, ahol egyetlen prompt elküldése után megkapjuk a választ.
A modellek fejlődésével és az ágensi rendszerek elterjedésével azonban egyre nyilvánvalóbbá vált, hogy a jó instrukció önmagában nem elég. Egy AI ágens working memóriája sokkal több mindenből áll, mint egyetlen felhasználói kérés.
Mi pontosan a context engineering
Context engineering nem más, mint a tokenek, vagyis az információ optimális halmazának kurálása és fenntartása az LLM inferencia során. Ez magában foglal mindent, ami a prompton kívül odakerülhet, a rendszerinstrukciótól kezdve az eszközleírásokon át a korábbi beszélgetés kivonatáig, a visszakeresett dokumentumokig, és a strukturált jegyzetekig.
A kulcskülönbség, ami mindent átalakít
A prompt engineering diszkrét feladat, egyszer megírjuk, egyszer elküldjük. A context engineering ezzel szemben iteratív folyamat, mert az ágensek hurokban futnak, minden lépésnél új eszközeredményt, új megfigyelést, új köztes állapotot termelnek. Ez a bővülő adathalmaz folyamatos gondozást igényel, különben gyorsan kezelhetetlenné válik, és rontja a modell teljesítményét.
Éppen ezért a context engineering nem egyszeri feladat egy projekt elején, hanem folyamatos tervezési és karbantartási munka, ami végigkíséri az ágens teljes életciklusát.
Forrás
Anthropic "Effective context engineering for AI agents" és "Demystifying evals for AI agents" című cikkeinek magyar feldolgozása.
Workshop
AI Transformation Day
Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.
Érdekel a program →