A hír, ami mögött szakmai elv van
Amit a nagy laborok szeptemberben megvásároltak
Szeptember 18-án az Anthropic bejelentette, hogy az Accenture lesz az első beépített kiértékelője, olyan belső hozzáféréssel, ami egy alkalmazottéhoz hasonlít, és a két cég öt év alatt egyenként legalább egymilliárd dollárt szán erre a munkára. A bejelentés indoklása üzleti szempontból érdekesebb, mint az összeg. Azért kell a belső hozzáférés, mert a kész kimenet megnézésével nem lehet megállapítani, hogy egy rendszer jól működik-e.
Ez a gondolat nem a frontier modellek világában kezdődik és nem is ott ér véget. Egy vállalati AI megoldás ugyanúgy nem minősíthető azzal, hogy valaki végiglapoz néhány választ és elégedett. A különbség annyi, hogy a laborok ezt megfizetik, a cégek pedig általában kihagyják, pedig náluk ennek a munkának a költsége egy délutánban mérhető.
Az elmúlt két évben több mint ötven vállalati bevezetésen dolgoztam, és a kiértékelés hiánya mindegyikben ugyanott csapódott le. Nem a minőségben, hanem a döntésképtelenségben. Ahol nincs mérés, ott minden későbbi javítás vitakérdéssé válik, és a vitát a leghangosabb vélemény dönti el.
A valóság a cégeknél
Öt példa megnézése nem kiértékelés
Amikor egy csapat új promptot vagy új modellt állít éles üzembe, a tipikus folyamat így zajlik. Valaki beír három-öt kérdést, amire fejből tudja a választ, megnézi a kimenetet, és ha nem talál benne hibát, jóváhagyja. Ez a módszer jó arra, hogy a durva elromlást kiszűrje. Minden másra alkalmatlan.
Egy 400 fős logisztikai cégnél ezt a mechanizmust a maga teljes szépségében láttam működni. A diszpécserek egy belső asszisztenst használtak szállítási feltételek visszakeresésére. Valaki a fejlesztői oldalon hozzátett a prompthoz egy mondatot, hogy a válaszok legyenek rövidebbek, és a hármas tesztkör rendben lefutott. Három héttel később derült ki, hogy a rövidítés egy egész válaszkategóriát vágott le, azokat, ahol a feltételhez kivétel is tartozott. A kivételek eltűntek a válaszokból, miközben minden egyes válasz olvasható és magabiztos maradt.
Ebből a projektből azt tanultam, hogy a legdrágább hibák nem látszanak a mintán, amit magunknak választunk. A saját tesztkérdéseink mindig a rendszer erős oldalára esnek, mert azokat ismerjük. Elromlani pedig ott szokott, ahol nem nézünk.
A másik visszatérő minta a hangulat szerinti döntés. Új modell jön ki, a csapat kipróbálja, és az a vélemény alakul ki, hogy okosabbnak tűnik. Azt tapasztaltam, hogy ez a benyomás a válaszok stílusából keletkezik, nem a tartalmi helyességéből. Egy bőbeszédűbb, strukturáltabb, listákkal dolgozó modellt az emberek rendszeresen jobbnak éreznek akkor is, amikor több tényt téveszt el.
Az alapanyag
Honnan jön a negyven tétel
A kiértékelő készlet nem elméleti kérdésekből áll. A legjobb tételek a cég saját múltjából jönnek, és négy helyen találhatók meg.
Az első hely az éles forgalom. Ha a rendszer már fut, akkor a múlt hónap valódi kérdései a legjobb nyersanyag. Egy kreatív ügynökségnél, ahol 35 fő dolgozik, egyszerűen kiexportáltuk a belső asszisztens egy hónapját, és kézzel kiválogattunk belőle huszonöt jellemző kérést. Ez két órába telt, és azóta ez a huszonöt adja a készlet gerincét.
A második hely a hibanapló. Minden olyan eset, amire valaki panaszkodott, automatikusan tétel. Ezek a legértékesebbek, mert bizonyítottan nehéz kérések, és mert a javulás rajtuk azonnal látszik. Ahol nincs hibanapló, ott a csapat emlékezete is elég a kezdéshez.
A harmadik hely a peremeset. Ide tartozik a hiányos kérdés, az ellentmondó adat, a két érvényes szabályzat közötti ütközés, és az a kérés, amire a helyes válasz az, hogy nincs rá adat. Ez utóbbi kategória a leggyakrabban kimaradó. Amikor egy bevezetés során először teszünk be néhány megválaszolhatatlan kérdést, a rendszer szinte mindig kitalál rájuk valamit, és erről addig senki nem tudott.
A negyedik hely a tiltott terület. Olyan kérések, amikre a rendszernek el kell hárítania, mert más csapat adatára, bérinformációra vagy jogi minősítésre vonatkoznak. Ezekből öt tétel elég, de nélkülük a készlet nem méri a biztonsági viselkedést.
A készlet nem kőbe vésett. Minden negyedéves futtatás után kerül bele két-három új tétel abból, amire időközben panasz érkezett, és kiesik ugyanannyi olyan, amit a rendszer már hónapok óta hibátlanul megold. Ezzel a készlet mindig a nehéz zónát méri, nem azt, amit a cég már megoldott.
Negyven tétel elsőre keveset ígér. A gyakorlatban viszont egy ekkora készlet már éles jelet ad, és még kezelhető marad, vagyis egy ember egy délelőtt alatt végig tudja pontozni. Száz tételnél a csapat egyszerűen nem futtatja le többé.
A mérce
A jó válasz néhány ellenőrzőpont, nem egy szöveg
A leggyakoribb kezdő hiba az, hogy valaki leír egy mintaválaszt, és azt várja, hogy a modell ahhoz hasonlóan fogalmazzon. Nyelvi modellnél ez a megközelítés nem működik, mert ugyanazt a helyes tartalmat tízféleképpen meg lehet írni.
Ami helyette működik, az tételenként három-öt ellenőrzőpont. A szállítási feltételes példánál ezek így néztek ki. Szerepel-e a válaszban a kivétel. Megjelöli-e, melyik szabályzatból származik az információ. Tartózkodik-e attól, hogy a lejárt verziót idézze. Jelzi-e, ha az adat hiányos. Mindegyik pont igen vagy nem, és ennyi elég.
Ez a forma azért praktikus, mert a szakértő, aki a tartalmat ismeri, megírja gyorsan, és mert a pontozás később nem igényel szakmai mérlegelést. Amikor ezt a logisztikai cégnél elvégeztük, a feltételekért felelős kolléga négy óra alatt összeállította mind a negyven tételhez az ellenőrzőpontokat, és ezzel a cég megszerezte az egyetlen dolgot, amivel addig nem rendelkezett. Egy írásos definíciót arról, hogy mi a jó válasz.
Ennek a definíciónak önmagában is van értéke. Több bevezetésnél a kiértékelő készlet összeállítása közben derült ki, hogy a szakmai csapaton belül nincs egyetértés arról, mi a helyes eljárás. Ilyenkor a modell minősége még meg sem kerül vizsgálatra, és már megtérült a munka.
A folyamat
Ki pontoz, és mennyi időbe telik
Az első két-három körben ember pontozzon. Negyven tétel, tételenként négy ellenőrzőpont, ez százhatvan igen vagy nem döntés, és egy gyakorlott szakértőnél másfél-két órába telik. Ez a befektetés egyszer kell, utána a készlet marad.
A második szakaszban a pontozás nagy része átadható egy modellnek. Ennek a módszere egyszerű, az ellenőrzőpontokat és a kapott választ odaadjuk egy második modellnek, és azt kérjük tőle, hogy pontonként mondja meg, teljesült-e. Mielőtt ez éles üzembe kerül, egyszer össze kell vetni az ember és a modell pontozását ugyanazon a negyven tételen. Ahol a kettő nyolcvan százalék felett egyezik, ott a gépi pontozás használható, és csak az eltéréseket kell emberrel átnézni.
A kontrolling csapatnál ez a lépés hozta a legnagyobb változást a munkamódban. Addig a promptok átírása félnapos vitával járt, utána pedig bizonytalansággal. A gépi pontozás bevezetése után egy módosítás tesztelése húsz percet vett igénybe, és számot adott. Ezzel a vita eltűnt, mert volt mire hivatkozni.
A pontszámokat egy helyen kell vezetni, dátummal, a modell nevével és a prompt verziójával. Ez a napló az, ami hónapok múlva megválaszolja a legkényesebb vezetői kérdést, hogy a rendszer most jobban működik-e, mint a bevezetés után. Erre semmilyen emlékezet nem ad megbízható választ, a tizenkét soros táblázat viszont igen.
Egy dologra figyelni kell. A gépi bíró ugyanazokat a vakfoltokat hordozza, amiket a mért rendszer, ezért a biztonsági és a megválaszolhatatlan tételeket mindig ember nézze át. Ez öt-tíz tétel, néhány perc.
Mikor fut le
A négy alkalom, amit nem szabad kihagyni
Modellváltás előtt és után. Ez a legkézenfekvőbb eset, és mégis ez marad ki a leggyakrabban. Új modell megjelenésekor a készlet néhány óra alatt megmondja, hogy a cég konkrét feladatain jobb-e, és nem a nyilvános összehasonlító táblázatokra kell támaszkodni, amik nem a cég munkáját mérik.
Promptmódosításkor. Minden érdemi szövegváltoztatás előtt megvan a kiinduló pontszám, utána pedig az új. Ebben a körben az a gyakori tanulság, hogy egy javítás egy helyen emel és máshol ejt, és ez a csere korábban láthatatlan volt.
Új adatforrás bekötésekor. Amikor a tudásbázis új dokumentumkört kap, a készlet megmutatja, hogy a korábban működő válaszok nem romlottak-e el. Egy pénzügyi holdingnál egy új szabályzatcsomag betöltése után a régi kérdések pontszáma esett, mert a rendszer a két verzió között kezdett keverni. A jelenség egy óra alatt kiderült, és nem a felhasználói panaszokból.
Negyedévente, változtatás nélkül is. A szolgáltatók a háttérben frissítenek, a cég adatai változnak, az emberek máshogy kérdeznek. Egy negyedéves futtatás a lassú csúszást fogja meg, amit semmilyen egyszeri teszt nem lát.
A hozadék
Amit a negyven kérdés a döntésekben megváltoztat
A kiértékelő készlet legnagyobb hatása nem a minőségi mutatón látszik, hanem a döntések sebességén. Ahol megvan, ott a csapat merészebben vált modellt, mert a váltás kockázata fél napra zsugorodik. A drága modellről a felére sem lehet lemenni bizonyíték nélkül, mert a vezető joggal fél attól, hogy a megtakarítás minőségromlással jár. Amikor ezt a logisztikai cégnél megmértük, a kisebb és gyorsabb modell a negyven tételből harminchetet ugyanúgy megoldott, a maradék három pedig egy élesen körülírt kategóriába esett, amit átirányítottunk a nagyobb modellre.
A második hatás a szállítói viszonyban mutatkozik meg. Ha a cégnek saját mércéje van, akkor egy külső fejlesztő vagy integrátor munkája ellenőrizhető, és az ajánlatok összevethetők azon a feladaton, ami tényleg a cégé. Enélkül a beszállító saját bemutatóján kell dönteni, ami mindig a legjobb oldalát mutatja.
A harmadik hatás a belső legitimáció. Egy AI megoldás a szervezetben addig vitatott, amíg mindenki a saját tapasztalatára hivatkozik, és a tapasztalatok eltérnek. Ezt a helyzetet egy közös, írásos mérce zárja le. A kontrolling csapatnál a negyedéves számok bekerültek a vezetői beszámolóba, és onnantól a projekt ugyanazon a nyelven beszélt, mint a cég többi része.
Ami a költségoldalt illeti, egy negyven tételes készlet összeállítása egy szakértő négy-hat órája, a gépi pontozás beállítása egy fejlesztői nap, egy futtatás pedig néhány euró. Ehhez képest egyetlen észrevétlen minőségromlás, ami három hétig fut éles üzemben, nagyságrendekkel többe kerül, és a bizalmat viszi el, ami a legnehezebben épül vissza.
A laborok azért fizetnek milliárdokat a belülről látó kiértékelőért, mert a kész kimenet nem mond igazat a rendszerről. Ugyanez a cégeknél egy táblázatban és néhány óra munkában elérhető, és a legtöbb helyen még mindig ez a leghamarabb megtérülő mozdulat az egész AI portfólióban.
Forrás: Anthropic, Partnering with Accenture on embedded evaluation, 2026. szeptember 18.