Az első négy lépés, alapozás
A nulladik lépés, hogy korán el kell kezdeni. Elég 20-50 task valós hibákból összeállítva, nem kell megvárni, amíg száz task összegyűlik, mert az eval hiánya közben vakon repülést jelent. Az első lépés a kézi teszteléssel indulás, vagyis a meglévő manuális ellenőrzések és hibakövető issue-k átalakítása test case-szé.
A második lépés az egyértelmű taskok megírása referenciamegoldással, ahol a szakértők egyet tudnak érteni a pass vagy fail ítéletben, és van bizonyíték arra, hogy a task valóban megoldható. A harmadik lépés a kiegyensúlyozott feladatkészlet építése, tesztelve azt is, ahol egy viselkedésnek kellene történnie, és azt is, ahol nem, elkerülve az osztály egyensúlytalanságot.
- Korán kezdjElég 20-50 task valós hibákból, az eval hiánya vakon repülés.
- Kézi tesztelésből induljA meglévő manuális ellenőrzések és issue-k lesznek az első test case-ek.
- Egyértelmű taskok referenciamegoldássalA szakértők egyetértenek a pass vagy fail ítéletben, és a task bizonyítottan megoldható.
- Kiegyensúlyozott feladatkészletAz is teszt, ahol a viselkedésnek történnie kell, és az is, ahol nem.
Ennyi task már elég az induláshoz. Nem kell megvárni, amíg száz összegyűlik, mert az eval nélkül töltött idő vakon repülést jelent.
Az infrastruktúra és a graderek
A negyedik lépés a robusztus eval infrastruktúra építése, ahol minden próba tiszta környezetből indul, elkerülve a kontaminációt egyik próba és a másik között. Az ötödik lépés a graderek gondos tervezése, előnyben részesítve a determinisztikus megoldást, részleges pontszámot is megengedve, emberi szakértőkkel kalibrálva, és mindig hagyva egy "Ismeretlen" menekülőutat, amikor a grader nem tud biztosat mondani.
- Determinisztikus grader előnybenAhol lehet, kód alapú, objektív ellenőrzés fusson.
- Részleges pontszám megengedveNem minden hiba egyenértékű, az árnyalat is információ.
- Emberi szakértőkkel kalibrálvaA grader ítélete az emberi ítélethez igazodjon.
- Ismeretlen menekülőútHa a grader nem tud biztosat mondani, azt jelezze, ne találgasson.
Ellenőrzés, szaturáció, fenntartás
A hatodik lépés a transcriptok ellenőrzése, mert a hibáknak igazságosnak kell tűnniük, ha egy jó megoldást a grader hibásnak minősít, az magának a grendernek a hibája. A hetedik lépés a szaturáció figyelése, hiszen ha az ügynök minden megoldható taskot teljesít, a suite többé nem ad javulási jelzést, ekkor nehezebb taskokat kell fejleszteni.
A nyolcadik lépés a suite-ok hosszútávú fenntartása, egy dedikált csapattal a core infrastruktúráért, domain szakértőkkel, akik új taskokkal járulnak hozzá, és az eval driven development elvével, vagyis hogy az evalt még azelőtt megépítjük, mielőtt az ügynök ténylegesen teljesítené az adott képességet.
Utólag épített eval
A mérés akkor készül, amikor a képesség már élesben fut. A visszaesések későn derülnek ki, a fejlesztés közben vakon repül a csapat.
Eval driven development
Az eval még azelőtt megépül, mielőtt az ügynök teljesítené a képességet. A suite már az első naptól jelzi, közeledik-e a cél.
Forrás
Az Anthropic "Effective context engineering for AI agents" és "Demystifying evals for AI agents" cikkei alapján, magyar feldolgozásban.
Workshop
AI Transformation Day
Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.
Érdekel a program →