A kiindulás
A modell mindent tud, csak rólad nem
Egy nyelvi modell a tanítása során az internet nagy részét látta, a te céged belső működését viszont nem. Nem ismeri a kedvezményszabályaidat, nem tudja, melyik szállítóval van keretszerződésed, és fogalma sincs arról, hogy nálatok mit jelent a sürgős.
Ettől még válaszolni fog. Egy jól fogalmazó rendszer a hiányzó adatot kitölti azzal, ami a leginkább illik a mintához, és ebből lesz az a jelenség, amit hallucinációnak hívunk. A hiba nem rosszindulat, hanem annak a következménye, hogy a kérdésre választ vár tőle valaki, az információ meg nincs meg.
Innen indul a vállalati AI valódi munkája. Nem a modell kiválasztása a nehéz, hanem az, hogy a céges tudás eljusson hozzá, ellenőrizhetően és naprakészen. Erre hat bevett út létezik, és a legtöbb rossz tapasztalat abból származik, hogy ezek közül nem a feladathoz illőt választják.
Sokan ezt úgy élik meg, hogy a modell buta. Pedig ugyanez történne egy új kollégával is, aki az első napján mindenre válaszolni akar. A különbség annyi, hogy az új kolléga két hét alatt megtanulja a céget, a modellnél viszont nekünk kell megoldanunk a tanulás útját.
Eszközhasználat
Az első út, a modell kérdezze meg a rendszert
A legegyszerűbb megoldás az, ha a modell nem tárol semmit, hanem lekérdezi. Megkapja a jogot, hogy belenézzen a készletnyilvántartásba, a CRM-be vagy a számlázóba, és onnan hozza az adatot a válaszhoz.
Mindenhol ez kell, ahol az adat gyorsan változik. Készlet, ár, szállítási határidő, nyitott ügyek száma. Ezeket hiába töltenéd be előre, mert mire a kérdés megérkezik, már elavult.
A korlátja az, hogy kell hozzá egy rendszer, ami kérdezhető. Ahol az adat kizárólag egy ember excel táblájában él, ott előbb ezt a részt kell megoldani. Egy kereskedő ügyfelemnél emiatt lett az első lépés nem az AI, hanem az, hogy a készletlista bekerüljön egy adatbázisba.
Ennek az útnak van egy kellemes mellékhatása is. Amikor végiggondoljuk, mit kérdezhet le a modell, kiderül, hogy melyik adat hol él valójában, és hol nincs sehol. Ez a térkép a bevezetés után is megmarad, és sok más projektnél hasznosul.
Puska az asztalon
A második út, tedd be az egészet a kérdés mellé
Ha a céges anyag kicsi és ritkán változik, akkor nincs szükség semmilyen keresésre. Az egész bekerül a kérdés mellé, a modell pedig abból dolgozik. A szakmában ezt gyorsítótárazott betöltésnek hívják, és a legnagyobb előnye a sebesség.
Jól működik egy árlistánál, egy szolgáltatási katalógusnál vagy egy belső szabályzatnál. Olcsó, egyszerű, és nincs mögötte bonyolult infrastruktúra, amit karban kell tartani.
A határ ott van, ahol az anyag már nem fér be, vagy hetente változik. Ilyenkor minden módosításnál újra kell tölteni az egészet, és a sebességelőny elveszik a karbantartásban.
Érdemes ezzel kezdeni, ha a cél a gyors eredmény. Egy árlista és egy szolgáltatási leírás betöltése fél napos munka, és a csapat már a héten látja, mire jó a dolog. Az első siker pedig többet hoz a bevezetésben, mint bármilyen prezentáció a lehetőségekről. Onnantól már a kollégák hoznak ötleteket, és nem nekünk kell meggyőzni őket.
Könyvtáros
A harmadik út, keressen rá a kérdéshez illő részre
Ez a legismertebb megoldás, és sok cégnél ezzel kezdődik a történet. Ilyenkor a dokumentumokat kisebb darabokra vágjuk, a darabokat kereshetővé tesszük, és minden kérdésnél csak a néhány illeszkedő rész kerül a modell elé.
A nagy előnye az, hogy a válasz mellé oda lehet tenni a forrást. Így a felhasználó látja, melyik szabályzat melyik pontjából jött a válasz, és ez a visszakereshetőség sokszor többet ér, mint maga az automatizálás.
Ahol sok dokumentum van és folyamatosan nő a számuk, ott ez a járható út. A részleteket külön írásban is végigvettem, lásd a RAG és belső AI tudásbázis cikket.
Egy dologra viszont figyelni kell. A keresés annyira jó, amennyire a dokumentumaid rendezettek. Ha ugyanarról a kérdésről három különböző verzió él egymás mellett, akkor a rendszer mindhármat megtalálja, és a válasz ugyanolyan zavaros lesz, mint a mappaszerkezet.
A takarítás itt nem opcionális lépés. Egy ügyfelemnél a dokumentumok átnézése hozta a legnagyobb hasznot, mert kiderült, hogy a kollégák egy része évek óta rossz sablonnal dolgozott, és ezt addig senki nem vette észre. A rendszer tehát még indulás előtt visszahozta az árát.
Nyomozótábla
A negyedik út, a kapcsolatok térképe
Van, amikor a kérdés nem egy dokumentumról szól, hanem a köztük lévő viszonyról. Melyik szerződésünk köt minket ahhoz a beszállítóhoz, aki a tavalyi minőségi kifogásban is érintett volt. Erre a sima keresés rosszul válaszol, mert külön-külön megtalálja a papírokat, az összefüggést viszont nem látja.
Ilyenkor érdemes gráfot építeni. Ott a szereplők, a szerződések, a projektek és az események pontokká válnak, a köztük lévő kapcsolatok pedig élekké. Ezen a hálón a modell végig tud menni, és olyan kérdésre is válaszol, amihez három ugrás kell.
Drágább megoldás, mert az adatot elő kell készíteni hozzá. Ahol viszont jogi, pénzügyi vagy beszállítói összefüggések a tét, ott a befektetés megtérül. Egy közepes cégnél ez jellemzően néhány száz szereplőt és pár ezer kapcsolatot jelent, tehát kezelhető méretet, nem kutatási feladatot.
Hosszú kontextus
Az ötödik út, menjen be minden egyszerre
A mai modellek rendkívül hosszú szöveget képesek egyben kezelni, ezért kézenfekvőnek tűnik, hogy egyszerűen bemásolunk mindent. Egy szerződéscsomagnál vagy egy hosszú jegyzőkönyvnél ez tényleg jól működik.
A csapda a szöveg közepe. Minél hosszabb az anyag, annál kevésbé támaszkodik a modell a közepén lévő részekre, és ezt a jelenséget kontextusrothadásnak hívják. A válasz így hiányos lehet úgy, hogy közben magabiztosan hangzik.
Ezért nálam a hosszú kontextus egyszeri elemzésre való, nem napi üzemre. Egy anyagot átnézni vele kiváló, ugyanazt a száz oldalt viszont minden kérdésnél újra beküldeni pazarlás és kockázat.
Átképzés
A hatodik út, tanítsuk tovább a modellt
A finomhangolás során a modellt a saját anyagainkon tovább tanítjuk. Ez a hangnemre és a szaknyelvre hat a legjobban, tehát arra, hogy a kimenet úgy szóljon, ahogy nálatok szokás.
Tényeket viszont rosszul lehet így tanítani. Az új adat beépítése költséges, lassan frissül, és minden változásnál újra kell futtatni a folyamatot. Aki azért finomhangol, hogy a modell megtanulja a jövő heti árlistát, az a legdrágább megoldást választotta a legegyszerűbb problémára.
A gyakorlatban ez a legritkábban indokolt út. Rendszerint akkor kerül elő, amikor valaki a technológiát akarja használni, nem a problémát megoldani.
Van azért, ahol tényleg ez a jó válasz. Ha egy cégnek nagyon sajátos szakzsargonja van, vagy a kimenetnek kötött formátumot kell követnie, akkor a finomhangolás hoz olyat, amit a többi út nem. Ilyenkor viszont a tényeket továbbra is kívülről kapja a modell, nem a tanításból.
Döntés
Melyiket mikor
A választás néhány kérdésen múlik, és a legtöbb esetben egy perc alatt eldől.
- Valós idejű adat kell, tehát eszközhasználat
- Kicsi és stabil anyag, tehát betöltés
- Sok dokumentum, ami folyamatosan nő, tehát keresés
- A kapcsolatok a lényegesek, tehát gráf
- Egyszeri elemzés, tehát hosszú kontextus
- A stílus a cél, tehát finomhangolás
A valódi rendszerek ezeket vegyesen használják. Egy ügyfélszolgálati megoldásban a szabályzat betöltve él, a termékleírásokban keresés megy, a rendelés állapotát pedig eszközhívás hozza a rendszerből. Ez a három együtt adja azt az élményt, hogy a gép tudja, miről beszél.
A sorrend viszont majdnem mindig ugyanaz. Előbb az adat rendbetétele, utána a legegyszerűbb működő megoldás, és csak akkor jön a bonyolultabb réteg, ha a mérés indokolja.
Gyakorlat
Amin a bevezetés el szokott csúszni
A leggyakoribb hiba a rendezetlen forrás. Három verzió ugyanabból a szabályzatból, lejárt árlisták a közös meghajtón, és senki nem tudja megmondani, melyik az érvényes. Ezen a ponton a technológia nem segít, mert a kérdésre nekünk sincs válaszunk.
A második a jogosultság. Ha a rendszer mindent lát, akkor olyan választ is adhat, amit a kérdező nem láthatna. Ezért a hozzáférést a kérdező jogaihoz kell kötni, nem a dokumentumhoz, és az elején olcsóbb megépíteni, mint utólag.
A harmadik a mérés hiánya. Érdemes hetente húsz valódi kérdést kézzel ellenőrizni, és rögzíteni, hányszor volt pontos a válasz. Két hónap után ebből látszik, hol kell javítani, és abból is kiderül, mikor érdemes továbblépni a következő rétegre.
A negyedik csapda a türelmetlenség. Két hét után még nem látszik semmi, mert ilyenkor az adat rendezése zajlik, és ezt a vezetés könnyen értelmezi kudarcként. Érdemes ezt előre kimondani, hogy mikor mi várható, mert a bevezetések nagy része nem szakmai, hanem kommunikációs okból hal el.
Ezeknél a köröknél azt látom, hogy a technológiai döntés a munka húsz százaléka. A maradék nyolcvan az adat, a jogosultság és a megállapodás arról, hogy mit tekintünk érvényes forrásnak. Ez utóbbi a legkeményebb dió, mert nem informatikai kérdés, hanem vezetői. Addig viszont semmilyen modell nem fog megbízható választ adni, amíg a cégen belül sincs egyetértés abban, melyik a jó verzió.
Amelyik cég ezt a hármat rendbe teszi, annál a modell néhány hét alatt használható kollégává válik. A többi cég fél év múlva ott tart, hogy mindenki visszatért a régi módszerhez, és a vezetés nem érti, miért nem jött be az AI.