Mi az a beágyazás
A beágyazás egy szövegdarabot számsorrá alakít úgy, hogy a hasonló jelentésű szövegek számsorai közel kerüljenek egymáshoz. Ettől lesz kereshető a jelentés, nem csak a szó.
Ennek az az előnye, hogy megtalálja a felmondási időt tárgyaló szakaszt akkor is, ha a kérdés úgy hangzik, meddig kell még dolgoznom. Egyetlen közös szó sincs bennük.
Hátránya viszont, hogy a pontos egyezésekben gyenge. Egy cikkszám, egy paragrafusszám vagy egy tulajdonnév esetén a jelentés szerinti keresés gyakran mellényúl.
Kulcsszavas keresés
- Pontos egyezést talál
- Erős azonosítóknál, neveknél, kódoknál
- Nem érti a szinonimát
- Olcsó és gyors
Beágyazás alapú keresés
- Jelentés szerint talál
- Erős körülírásnál és szinonimánál
- Gyenge pontos azonosítóknál
- Költségesebb, indexelést igényel
A gyakorlatban a kettő kombinációja teljesít a legjobban. Mindkét módszerrel keresünk, az eredményeket összefésüljük, és a legjobbakat adjuk tovább. Ezt hibrid keresésnek hívják, és a legtöbb esetben többet javít a minőségen, mint bármilyen modellcsere.
A beágyazó modell megválasztása
Két dolog számít igazán. Az egyik, hogy érti-e a magyar nyelvet, mert nem mindegyik érti jól. A másik, hogy stabil marad-e, mert ha lecseréled, az egész indexet újra kell építeni.
Ez utóbbi gyakran meglepetés. A beágyazások nem hordozhatók át modellek között, a régi és az új számsorok nem összemérhetők. A modellcsere tehát nem beállítás, hanem újraindexelés.
A jogosultság helye
A leggyakoribb súlyos hiba a vállalati RAG rendszerekben az, hogy a jogosultságot a válasz megfogalmazásakor próbálják érvényesíteni. Ez nem működik. Ha a modell már látta a tartalmat, akkor kiszivároghat, akármit is írunk a rendszerpromptba.
A szűrésnek a keresésnél kell megtörténnie. A kereső csak olyan darabot adhat vissza, amit az adott felhasználó láthat. Ehhez a jogosultsági adatnak már az indexben ott kell lennie, ezért is fontos a metaadat az előző leckéből.
Workshop
AI Transformation Day
Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.
Érdekel a program →