A két hibatípus
Amikor a rendszer azt mondja, nem találtam, az kellemetlen, de kezelhető. A felhasználó tudja, hogy nem kapott választ.
Amikor viszont folyékonyan és magabiztosan mond valamit, ami nem igaz, az sokkal rosszabb. A felhasználó elhiszi, továbbadja, és a hiba csak később derül ki, ha egyáltalán.
A RAG rendszereknél ez a második eset szinte mindig ugyanabból ered. A keresés rossz darabokat hozott, és a modell azokból építkezett becsületesen.
A hibakeresés helyes sorrendje
A gyakorlatban a hibák nagy többsége az első három lépésben derül ki, mégis a legtöbben a negyediknél kezdik, és a rendszerpromptot csiszolgatják.
Ha a rendszer egy dokumentumfrissítés után kezd magabiztosan tévedni, miközben a modell és a válaszidő változatlan, akkor szinte biztosan az indexeléssel van baj. Elromlott az újraindexelés, vagy a régi és az új darabok keveredtek.
Amit be lehet építeni ellene
Kötelező hivatkozás. Ha minden állítás mellé oda kell tenni, melyik darabból jött, akkor a modell nehezebben talál ki dolgokat, és az ellenőrzés is egyszerűbb lesz.
A nemtudás engedélyezése. Mondd meg kifejezetten, hogy ha a megtalált anyagban nincs válasz, akkor azt kell mondania. Ha ezt nem engedjük meg neki, akkor kitalál valamit.
Küszöb a hasonlóságra. Ha a legjobb találat is gyenge, akkor jobb nem válaszolni, mint a leggyengébb darabból építkezni.
Workshop
AI Transformation Day
Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.
Érdekel a program →