Miért nem elég a demó
Az AI megoldások egyik alattomos tulajdonsága, hogy a rossz minőség jól tud kinézni. Egy modell magabiztos, gördülékeny választ ad akkor is, amikor téved. Néhány gondosan kiválasztott példán bármelyik rendszer meggyőző, ezért a demó szinte semmit nem mond a valós megbízhatóságról. A demó és az éles, megbízható rendszer között óriási a távolság, és épp ennek a távolságnak az áthidalása a szerep egyik lényege. Az eval az az eszköz, amely ezt a távolságot mérhetővé teszi.
Az FDE ezért nem érzésre dönt a minőségről, hanem méréssel. A sikert nem a lenyűgöző bemutató jelenti, hanem az éles használatba vétel, a mérhető hatás a munkafolyamatra, és az eval alapú visszajelzés, amely a fejlesztést vezérli. A minőség így nem egy egyszeri állapot, hanem egy folyamatosan mért mennyiség, amelyre a rendszer további sorsa épül.
Mi az eval, és honnan indul
Az eval egy mérhető ellenőrzés, amely megmondja, mennyire jók a rendszer válaszai egy jól meghatározott feladaton. Nem egy szám a levegőből, hanem egy előre rögzített mérce, amelyhez a kimenetet hasonlítjuk. Az eval magja abból a sikerkritériumból nő ki, amelyet még a felfedezés végén rögzítettünk. Ott eldöntöttük, mit jelent a jó eredmény ebben a konkrét munkafolyamatban. Az eval ezt a definíciót fordítja le ismételhető, gépiesen futtatható méréssé.
Ez a folytonosság fontos. A projekt elején keretezett probléma és sikerkritérium nélkül az eval önkényes lenne. Mivel azonban a siker mércéje már a felfedezésben megszületett, az eval nem utólagos rátét, hanem a korábbi döntések logikus következménye. Ezért is épül gyakran már a validációs szakaszban, még a teljes szállítás előtt, hogy a minőséget bizonyítsuk, mielőtt a megoldás élesbe menne.
Miért domain-specifikus
Az általános, nyilvános benchmark keveset mond arról, hogy egy megoldás jó lesz-e az adott ügyfélnél. Egy modell kiválóan teljesíthet egy általános teszten, miközben az adott vállalat konkrét dokumentumain, terminológiáján és szabályain rendre téved. A minőség ugyanis nem elvont tulajdonság, hanem mindig egy konkrét feladatra vonatkozik. Az FDE ezért nem külső benchmarkra hagyatkozik, hanem az adott munkafolyamatból vett valós esetekre épít evalt.
Ez egyenesen következik a szerep magjából. A mérnök egy ügyfélre koncentrál sok képességgel, ezért a minőség mércéjének is az adott ügyfél valóságához kell igazodnia. A domain-specifikus eval a valós bemeneteket használja, azt kéri számon, ami annak a szervezetnek fontos, és azokat a hibákat bünteti, amelyek ott valóban kárt okoznak. Ezt a mércét csak a helyszínen, a valós adaton és a szakértők bevonásával lehet felállítani.
Az emberi visszajelzés mint mérce
A domain-specifikus evalban a legfőbb tekintély a szakterület szakértője. Ő tudja megmondani, mi a helyes válasz egy adott esetre, és miért. Az FDE ezért nem kívülről találja ki a jó választ, hanem a szakértőkkel közösen állítja össze az arany válaszok halmazát (golden set). Ez a szakértői címkézés lassú és drága, de ez adja az eval hitelességét. A gép csak azt tudja mérni, amihez van megbízható mércénk, és ezt a mércét itt emberi tudás adja.
A szakértői bevonásnak van egy második haszna is. A közös munka a válaszok minősítésén kideríti a rejtett elvárásokat, azokat a szabályokat, amelyeket senki nem írt le, de mindenki betart. Ezek a szabályok gyakran a felfedezésben sem jöttek elő, mert a felhasználóknak természetesek. Az arany válaszok összeállítása így nemcsak evalt épít, hanem a domaint is pontosabban feltárja, és ez visszahat a megoldás felépítésére.
- Gyűjts valós eseteketA munkafolyamatból vett bemenetek, a tipikus esetek és a nehéz peremesetek együtt.
- Állítsd össze az arany válaszokatA szakértőkkel közösen, jóváhagyott jó megoldásokkal minden esethez.
- Futtasd a rendszertUgyanazokon a bemeneteken, automatizáltan, ismételhetően.
- Pontozz a mércéhezAz arany válaszhoz és a sikerkritériumhoz hasonlítva, nem érzésre.
- Elemezd a hibákatNézd meg, hol és miért téved, és ez alapján javíts a felépítésen.
Automatikus és emberi értékelés
Nem minden minőség mérhető egyszerű egyezéssel. Ahol a jó válasznak egyértelmű, ellenőrizhető alakja van, ott az értékelés automatizálható, például egy kinyert érték, egy kategória vagy egy szabály teljesülése alapján. Ahol a válasz szabad szövegű és árnyalt, ott nehezebb. Egy elterjedt megközelítés, hogy egy modellt használnak bíróként a válaszok pontozására (LLM as a judge), ez gyors és skálázható, de óvatosan kell kezelni, mert a bíró modell maga is torzíthat vagy tévedhet.
Az FDE ezért nem bízza a minőséget kizárólag gépi értékelésre. A gyakori, jól definiált eseteknél automatizál, hogy gyorsan és sűrűn tudjon mérni, de a nehéz, árnyalt esetekben és az arany válaszok karbantartásában megtartja az emberi felügyeletet. A cél egy olyan eval, amely elég gyors ahhoz, hogy minden változásnál lefusson, és elég megbízható ahhoz, hogy tényleg a valós minőséget mérje, ne csak egy könnyen elérhető helyettesítőt.
Csak érzésre és demóra
- Néhány kiválasztott, kedvező példa dönt
- A minőség nem szám, hanem benyomás
- A regresszió észrevétlen marad
- Élesben derül ki, hogy megbízhatatlan
Eval alapú minőség
- Valós esetek és arany válaszok mérik
- A minőség mérhető, összehasonlítható szám
- Minden változás után lefut, a romlás kiderül
- Bizonyított minőséggel megy élesbe
Eval a fejlesztésben és élesben
Az eval nem egyszeri vizsga, hanem a fejlesztés vezérlője. Minden érdemi változásnál, egy új prompt, egy módosított visszakeresés vagy egy másik modell után, újra lefuttatva megmutatja, javult vagy romlott a minőség. Így fogja meg a regressziót, azt az esetet, amikor egy javítás máshol ront. Élesben pedig a folyamatos mérés a monitorozás alapja. A valós forgalomból mintát véve követhető, hogy a minőség tartja-e a szintet, vagy az adat és a használat változásával romlani kezd.
Ennek a mérésnek van egy tágabb haszna is. Amit az FDE a terepi evalokból tanul, az visszakerül a termékhez. Az éles adaton kiderülő hibák és a valós minőségi képek a modell és az eszközök következő változatát alakítják. Ez az eval alapú visszajelzés az, amely a terepi munkát összeköti a platform fejlődésével. A minőség mérése tehát nem a projekt végállomása, hanem az a mechanizmus, amelyen keresztül a helyszíni tudás továbbgyűrűzik. Erről a visszacsatolásról később külön lecke szól, előbb azonban az éles bevezetés és a skálázás kérdései jönnek.
Bizonyíték, nem benyomás. Az FDE nem érzésre mondja, hogy jó a megoldás, hanem mér. A domain-specifikus eval, a szakértői arany válaszok és a folyamatos minőségmérés együtt teszi lehetővé, hogy a rendszer bizonyítottan jó minőséggel menjen élesbe, és ott is az maradjon.
Workshop
AI Transformation Day
Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.
Érdekel a program →