RAG architektúra a gyakorlatban · Lecke 05

Az adat és a kérdés alakja

Nincs egyetlen jó RAG felépítés. Az adat alakja és a kérdések természete együtt dönti el, mi működik.

Vissza a tananyaghoz


Két kérdés, amit előre fel kell tenni

Az első, milyen alakú az adat. Folyó szöveg, táblázat, kód, jegyzőkönyv, levelezés. Mindegyik máshogy darabolható és máshogy kereshető.

A második, milyen alakú a kérdés. Egyetlen tényre irányul, vagy összehasonlítást kér. Egy dokumentumban van a válasz, vagy többet kell összeszedni hozzá.

A legtöbb csalódás abból ered, hogy egy folyó szövegre tervezett rendszertől táblázatos összesítést várnak, vagy egy tényszerű kereséstől összehasonlítást.


Adattípusok és a hozzájuk illő megközelítés

Szabályzat, kézikönyv. Szakaszonként darabolható, a fejezetcím sokat segít. A kérdések jellemzően egy helyre mutatnak, tehát az egyszerű keresés is elég.

Táblázatos adat. A visszakeresés itt gyakran rossz eszköz. Ha a kérdés az, hogy melyik hónapban volt a legtöbb rendelés, akkor lekérdezni kell, nem keresni. Sokkal jobb a modellnek lekérdezési eszközt adni.

Levelezés, jegyzőkönyv. Az idő itt a legfontosabb metaadat, mert a legfrissebb válasz felülírja a régit. Idő szerinti szűrés vagy súlyozás nélkül a rendszer elavult információt fog magabiztosan állítani.

Kód. Függvény vagy osztály szerint daraboljuk, sose sorszám szerint. A kulcsszavas keresés itt sokat számít, mert a pontos névegyezés a leggyakoribb igény.


Ha a kérdés összesítést, rangsort vagy számolást kér, akkor nem RAG feladat. A visszakeresés darabokat talál, nem számol. Ilyenkor adatbázis lekérdezés kell, akár úgy, hogy a modell írja meg a lekérdezést.


A vegyes forrás csapdája

A legtöbb cégnél az anyag vegyes. Van szabályzat, van táblázat, van levelezés. A kísértés az, hogy mindent egy indexbe teszünk, mert így egyszerűbb.

Ez viszont azt jelenti, hogy a darabolás és a keresés egyikhez sem lesz jó. Érdemesebb típusonként külön kezelni, és a keresésnél eldönteni, melyik forráshoz nyúlunk.

Ez több munka az elején, viszont enélkül a rendszer minden típusnál közepes lesz, és a felhasználók néhány hét alatt leszoknak róla.


← Előző lecke Következő lecke →

Workshop

AI Transformation Day

Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.

Érdekel a program →