Context engineering és evalok · Lecke 01

Context engineering vs prompt engineering

A prompt engineering egy jó kérés megfogalmazásáról szól. A context engineering ennél tágabb kérdést tesz fel, hogy milyen kontextus konfiguráció generálja legvalószínűbben a kívánt modell viselkedést.

Vissza a tananyaghoz

A prompt engineering öröksége

A prompt engineering azzal foglalkozik, hogyan fogalmazzuk meg optimálisan az instrukciókat egy adott kérdéshez vagy feladathoz. Jó szófordulatok, világos elvárások, releváns példák, mind ide tartoznak. Ez a diszciplína jól működik egyszeri, jól körülhatárolt kéréseknél, ahol egyetlen prompt elküldése után megkapjuk a választ.

A modellek fejlődésével és az ügynöki rendszerek elterjedésével azonban egyre nyilvánvalóbbá vált, hogy a jó instrukció önmagában nem elég. Egy AI ügynök working memóriája sokkal több mindenből áll, mint egyetlen felhasználói kérés.

Prompt engineering

  • Egyetlen kérés jó megfogalmazása
  • Szófordulatok, világos elvárások, példák
  • Egyszeri, jól körülhatárolt feladat
  • Egy prompt elküldése után jön a válasz

Context engineering

  • A teljes információhalmaz kurálása
  • Rendszerprompt, eszközök, memória, adatok
  • Iteratív, az ügynök teljes életciklusán át
  • Minden lépésnél újra kell kurálni
Prompt engineering Context engineering Egy kérés jó megfogalmazása diszkrét, egyszeri Rendszerprompt Eszközök és eredményeik Történet, memória, adatok
A context engineering a promptnál sokkal több elemet foglal magába, ami az ügynök elé kerül.

Mi pontosan a context engineering

Context engineering nem más, mint a tokenek, vagyis az információ optimális halmazának kurálása és fenntartása az LLM inferencia során. Ez magában foglal mindent, ami a prompton kívül odakerülhet, a rendszerinstrukciótól kezdve az eszközleírásokon át a korábbi beszélgetés kivonatáig, a visszakeresett dokumentumokig, és a strukturált jegyzetekig.

6

Ennyi különböző forrásból áll össze a kontextus, amit a modell egyszerre lát. A felhasználói kérés csak egy közülük, a többi öt kurálása a context engineering feladata.

Kontextusablak, amit a modell ténylegesen lát Felhasználói kérés csak egy elem a sok közül Rendszerinstrukció Eszközleírások Beszélgetés korábbi kivonata Visszakeresett dokumentumok Strukturált jegyzetek
A context engineering ezt a teljes halmazt kurálja, a felhasználói kérés csak egy a hat forrásból.

A kulcskülönbség, ami mindent átalakít

A prompt engineering diszkrét feladat, egyszer megírjuk, egyszer elküldjük. A context engineering ezzel szemben iteratív folyamat, mert az ügynökök hurokban futnak, minden lépésnél új eszközeredményt, új megfigyelést, új köztes állapotot termelnek. Ez a bővülő adathalmaz folyamatos gondozást igényel, különben gyorsan kezelhetetlenné válik, és rontja a modell teljesítményét.

Éppen ezért a context engineering nem egyszeri feladat egy projekt elején, hanem folyamatos tervezési és karbantartási munka, ami végigkíséri az ügynök teljes életciklusát.

  1. Az ügynök lép egyetEszközt hív, megfigyelést tesz, köztes állapotot termel.
  2. A kontextus bővülAz új eszközeredmények és megfigyelések a kontextusablakba kerülnek.
  3. KurálásA context engineering eldönti, mi marad bent, mi kerül kivonatba, mi hullik ki.
  4. Újra elölrőlA következő lépés már a gondozott kontextussal indul, a hurok folytatódik.
egy prompt teljes kontextus a context engineering felülmúlja
A mérleg szemlélteti, hogy a context engineering ténylegesen sokkal nagyobb terjedelmet fed le, mint az egyetlen prompt.
Következő lecke →

Workshop

AI Transformation Day

Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.

Érdekel a program →