A két mérési szint
Egy RAG rendszernél két külön dolgot kell mérni, és a kettőt nem szabad összekeverni.
A keresés minősége. Megtalálta-e a rendszer azokat a darabokat, amikben a válasz benne van. Ez modelltől független, és ez javítható a leggyorsabban.
A válasz minősége. A megtalált darabokból helyes és hasznos választ adott-e. Ez már a modelltől és a prompttól is függ.
Ha csak a végeredményt méred, akkor nem fogod tudni, melyiken kell javítani, és találomra fogsz csavargatni a beállításokon.
A kiinduló kérdéskészlet
Mindenhez kell egy rögzített lista kérdésekből, amikre tudjuk a helyes választ. Ötven kérdés bőven elég a kezdéshez, és fontosabb, hogy valódi kérdések legyenek, mint hogy sok legyen belőlük.
Szedd őket a felhasználóktól. Az első két hét valódi kérdései többet érnek, mint bármilyen kitalált teszthalmaz, mert azt mutatják meg, mit várnak tőle valójában.
Minden kérdéshez jegyezd fel, melyik dokumentumban van a válasz. Ettől lesz mérhető a keresés külön a generálástól.
A legfontosabb egyetlen szám az, hogy a helyes forrás hányszor volt benne a megtalált darabok között. Ha ez alacsony, akkor semmilyen prompt csiszolás nem fog segíteni, mert a válasz alapanyaga hiányzik.
Mit érdemes még nézni
A hivatkozás helyessége. Nem elég, hogy hivatkozik. Az is kell, hogy a hivatkozott darab tényleg tartalmazza az állítást.
A nemtudás aránya. Ha nulla, az gyanús, mert azt jelenti, hogy mindenre válaszol, akkor is, ha nem tudja.
A kézi javítás. Milyen gyakran írja át a felhasználó a kapott választ. Ez a legőszintébb minőségjelző, és semmilyen belső mérőszám nem helyettesíti.
Költség és késleltetés kérdésenként. Mert ezek csendben nőnek, ahogy bővül az anyag.
Egyszerre egy dolgot
A RAG rendszernek sok csavarja van. Darabméret, átfedés, találatszám, rangsorolás, prompt. Kísértés egyszerre többet állítani, mert gyorsabbnak tűnik.
Ha viszont egyszerre kettőt módosítasz és javul az eredmény, nem tudod, melyik javította, és a másik akár ronthatott is. A lassabb út itt a gyorsabb.
Workshop
AI Transformation Day
Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.
Érdekel a program →