Amikor a tulajdonságok ütköznek

Négy tulajdonság, egy rendszer

Az előző négy leckében külön-külön néztük meg négy alapvető tulajdonságot, amely minden generatív AI rendszer viselkedését meghatározza. Megismerted a jelleget, amely a finomhangolás során alakul ki, és amely meghatározza a modell hangnemét és határait. Megismerted a következő token előrejelzés mechanizmusát, amely megmagyarázza, miért lehet egy válasz egyszerre folyékony és téves. Megismerted a tudás és a munkamemória korlátait, amelyek meghatározzák, mit tud a modell egyáltalán, és mennyit tud ebből egyszerre figyelembe venni. És megismerted az irányíthatóságot, amely megszabja, mennyire tudod a viselkedését a saját céljaid felé terelni.

A valóságban ez a négy tulajdonság sosem elszigetelten működik. Egyetlen AI válasz mindig mind a négy hatását magán viseli egyszerre, és amikor egy kimenet meglep téged, szinte mindig ezeknek a tulajdonságoknak egy adott kombinációja áll a háttérben, nem egyetlen izolált hiba.

Két gyakorlati példa az ütközésre

Vegyük a hallucináció jelenségét. Elsőre könnyű azt gondolni, hogy ez egyszerűen a modell tudásbeli hiányossága. Valójában két tulajdonság együtt hozza létre a jelenséget. A tudás korlátja miatt a modell nem rendelkezik pontos információval egy adott, ritkán előforduló vagy határidőn túli témáról, a következő token előrejelzés mechanizmusa miatt viszont a modell akkor is folyékony, magabiztos hangvételű választ generál, mert erre tanították be, függetlenül attól, hogy a tartalom valójában mennyire pontos. A két tulajdonság találkozása hozza létre azt, amit hallucinációnak nevezünk, egy magabiztosan előadott, de téves állítást.

Vegyünk egy másik példát, amikor egy hosszú beszélgetés során a modell fokozatosan letér a kívánt irányról, és mintha elfelejtené a korábban lefektetett szabályokat. Ez a helyzet is jellemzően két tulajdonság együttes hatása. A munkamemória korlátja miatt a korábbi instrukciók egyre kevésbé dominánsak a kontextusablakban, miközben az irányíthatóság sem tökéletes, tehát a modell egyre inkább a legfrissebb, közvetlen kontextusra támaszkodik ahelyett, hogy a beszélgetés elején rögzített kereteket következetesen tartaná. Ha csak az irányíthatóságra gondolnál, azt hihetnéd, hogy rosszul fogalmaztad meg az instrukciót. Ha csak a munkamemóriára gondolnál, azt hihetnéd, hogy egyszerűen túl hosszú a beszélgetés. A valóság mindkettő egyszerre.

Egy gyakorlati diagnosztikai szokás

Ebből a felismerésből egy nagyon hasznos, mindennapokban alkalmazható szokás következik. Amikor egy AI kimenet meglep téged, akár azért, mert téves, akár azért, mert nem azt kaptad, amit vártál, tedd fel magadnak a kérdést, melyik tulajdonság, vagy melyik tulajdonságok kombinációja magyarázhatja a jelenséget. Lehet, hogy a modell jellege nem illik a feladathoz, és érdemes másik eszközt választanod. Lehet, hogy a folyékonyság elfedte a bizonytalanságot, és a válasz tényszerű ellenőrzésre szorul. Lehet, hogy a téma túl friss vagy túl niche ahhoz, hogy a modell tudása lefedje, vagy a beszélgetés túl hosszúra nyúlt, és a kontextusablak már nem tartalmazza a releváns részleteket. Lehet, hogy egyszerűen pontosabb, explicitebb instrukcióra van szükség az irányíthatóság jobb kihasználásához.

Miután beazonosítottad a valószínű okot vagy okokat, a következő lépés egy célzott beavatkozás, ne egy általános újrapróbálkozás. Ha a probléma a jellemmel van, válts eszközt vagy állítsd be másképp a rendszerszintű instrukciókat. Ha a probléma a munkamemóriával van, rövidítsd le a kontextust, vagy foglald össze és rögzítsd újra a lényeges elemeket. Ha a probléma a tudással van, adj a modellnek külső forrást, vagy ellenőrizd a választ más úton. Ha a probléma az irányíthatósággal van, fogalmazd meg konkrétabban, mit vársz, adj példát, vagy bontsd kisebb lépésekre a kérést.

Hogyan tovább

Ezzel a leckével lezárul az AI képességei és korlátai modul, amely a 4D keretrendszer emberi kompetenciáinak, a delegálásnak, a leírásnak, a megítélésnek és a felelősségnek a gép oldali párját mutatta be. A négy tulajdonság, a jelleg, a következő token előrejelzés, a tudás és munkamemória korlátai, valamint az irányíthatóság, most már egy közös nyelvet ad a kezedbe ahhoz, hogy pontosan érvelj arról, mit láttál egy adott AI beszélgetésben, és miért.

A tananyag ezen az oldalon folytatódik az "AI Fluency kisvállalkozásoknak" modullal, amely ezt az elméleti alapot konkrét, gyakorlati üzleti alkalmazásokra fordítja le. A teljes tananyag jegyzékét megtalálod a tananyag főoldalán.

Záró gondolat

Ha egyetlen dolgot viszel magaddal ebből a modulból, legyen az ez a szemlélet, hogy a mai AI rendszerek se nem tökéletes, mindent tudó gépek, se nem megbízhatatlan, véletlenszerűen működő eszközök. Kiszámítható, megérthető tulajdonságokkal rendelkező rendszerek, amelyeknek megvannak a maguk erősségei és korlátai, pontosan úgy, ahogy bármely más eszköznek, amivel a munkádban dolgozol. Aki ezt a négy tulajdonságot érti, sokkal magabiztosabban, hatékonyabban és felelősségteljesebben tudja beépíteni az AI-t a mindennapi működésébe, legyen szó egyéni munkáról vagy egy teljes szervezet folyamatairól.

Forrás

Ez a lecke az Anthropic hivatalos "AI Capabilities and Limitations" kurzusának magyar adaptációja, amely az Anthropic Academy oktatási anyagai alapján készült. A kurzus kereskedelmi felhasználásra vonatkozó korlátozásokkal érhető el. Eredeti kurzus. Anthropic Academy.