Mi a RAG egy mondatban
A visszakereséssel támogatott generálás annyit jelent, hogy a kérdés megválaszolása előtt a rendszer kikeres néhány releváns részletet egy saját adatforrásból, és azt beteszi a modell elé. A modell nem a fejéből válaszol, hanem abból, amit odatettünk neki.
Ettől lesz naprakész és számonkérhető. A válasz mellé oda lehet tenni, honnan jött, és ez a legtöbb vállalati felhasználásnál fontosabb, mint a stílus.
Nem kell RAG
- Az adat elfér a kontextusban, és ritkán változik
- Egyetlen dokumentumról van szó, amit a felhasználó kiválaszt
- Általános tudás kell, nem céges adat
- A válasz nem igényel forrásmegjelölést
Kell RAG
- Sok dokumentum, és nem tudjuk előre, melyik kell
- Az adat gyakran változik
- Kell tudni, melyik forrásból jött a válasz
- Jogosultság szerint más és más látható
A két gyakori túlzás
Az egyik, hogy mindenre RAG. Ha egy cégnek húsz dokumentuma van összesen, akkor nem kell keresőrendszert építeni. Betehetők a kontextusba, és kész. A RAG ilyenkor csak egy újabb hibalehetőség.
Ez különösen igaz azóta, hogy a kontextusablakok megnőttek. Ami néhány éve elképzelhetetlen volt, az ma sokszor belefér. Érdemes megszámolni, mielőtt építkezünk.
A másik, hogy sosem kell. Aki a nagy kontextusra hivatkozva mindent betölt, az drágán és lassan dolgozik, és ráadásul romlik is a minőség, mert a modell figyelme szétoszlik a sok felesleges anyagon.
Egy hasznos próba. Számold meg, mennyi az összes szóba jöhető anyag mérete. Ha egy átlagos kérdéshez a teljes anyag kevesebb mint tíz százaléka kell, akkor a visszakeresés megéri. Ha a fele, akkor valószínűleg nem.
A rendszer három része
A hibák túlnyomó része a második lépésben keletkezik, a figyelem viszont többnyire a harmadikra irányul. Ez a tananyag ezért a középső részre teszi a hangsúlyt.
Workshop
AI Transformation Day
Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.
Érdekel a program →