A technológia vezetői mélységben

Hogyan tanul és hogyan válaszol

A nyelvi modell a szöveget apró egységekre, tokenekre bontja, és azt tanulja meg, melyik egység után melyik következik nagy valószínűséggel. A válasza ezért mindig folytatás, a kérdésed és az addigi válasz legvalószínűbb folytatása. Ebből következik az erőssége, a nyelvi feladatok elképesztő rugalmassága, és a leghíresebb gyengéje, a hallucináció. A modell akkor is folyékony, magabiztos szöveget ad, amikor a tartalma téves, mert a valószínű és az igaz nem ugyanaz. Ezt nem hibának érdemes tekinteni, hanem tulajdonságnak, amelyhez a munkafolyamatot kell igazítani, ellenőrzési pontokkal ott, ahol a tévedés drága.

A testreszabás lépcsői

A nyers modell és a te céged igényei között több lépcső áll. A legegyszerűbb a jó utasítás és a példák megadása. A következő, amikor a modell válasz előtt a céges dokumentumaidból kap releváns részleteket, ez a visszakereséses kiegészítés, a legtöbb vállalati megoldás gerince. A legdrágább út a finomhangolás, amikor a modellt saját adaton tovább tanítják. A vezetői szabály az, hogy a lépcsőn alulról felfelé haladj, mert a feladatok többségét már az első két szint megoldja, töredék költségen.

A korlátok, amikkel tervezni kell

Három korlátot érdemes fejben tartani. A tudása a tanítás lezárásáig terjed, frissebb vagy belső információt csak akkor tud, ha a rendszer odaadja neki. A kontextusa véges, egyszerre csak korlátos mennyiségű szöveget lát. És a viselkedése valószínűségi, ugyanarra a kérdésre adhat kicsit más választ. Egyik sem akadálya az üzleti használatnak, de mindhárom megszabja, hogyan érdemes rendszert építeni köré. A következő leckében erre az alapra tesszük rá az üzleti pillért.

Források és további olvasnivaló

Stanford Online, Technical Fundamentals of Generative AI, a Stanford HAI közreműködésével. A visszakereséses architektúráról a RAG architektúra a gyakorlatban kurzusban írtam részletesen.