Mit jelent AI terméket építeni

A modell nem a projekt

Amikor valaki először találkozik egy jó nyelvi modellel, a benyomás szinte mindig ugyanaz. Beír egy kérést, és pár másodperc múlva ott a válasz, ami első ránézésre kész terméknek tűnik. Ebből születik a leggyakoribb tévhit az egész területen. Sokan azt gondolják, hogy az AI, vagyis maga a modell a projekt, és a dolgunk mindössze annyi, hogy megtaláljuk a legjobbat, beszerezzük a hozzáférést, és onnantól kész is a megoldás. A valóság ennek majdnem a fordítottja. A modell a legkisebb munka az egészben, nem a legnagyobb.

Ez nem azt jelenti, hogy a modell választása nem számít. Számít, csak nem ott dől el a termék sorsa. A modell egy nyersanyag, egy nagyon erős, de önmagában irányítatlan képesség. Attól, hogy van egy kiváló motorod, még nincs autód. Kell köré karosszéria, kormány, fék, műszerfal és út, amin elindulhat. Az AI termék éppen ez a köré épített rendszer, nem pedig a motor maga.

A tévhit onnan ered, hogy a bemutató szándékosan a legkönnyebb esetet mutatja. Egy tiszta kérdés, egy tiszta válasz, semmi zaj körülötte. Az éles használat viszont sosem tiszta. Ott vannak a hiányos adatok, a félreérthető kérések, a ritka de fontos kivételek, és az az elvárás, hogy a rendszer minden nap, minden ügyfélnél ugyanolyan megbízhatóan működjön. A bemutató a legjobb pillanatot villantja fel, a termék viszont a legrosszabb pillanatokban is helyt kell álljon. A kettő közötti távolságot pedig nem a modell hidalja át, hanem az, amit köré építesz.

A jéghegy csúcsa és ami alatta van

A fenti kép a legjobb hasonlat, amit a témára ismerek. A modell a jéghegy csúcsa. Ez az egyetlen rész, ami kilátszik a vízből, és ezt látja mindenki, amikor egy AI megoldás lenyűgözi. A víz alatt viszont ott van a tömeg java, és ez tartja a felszínen az egészet. Négy réteg húzódik ott. Az első az adat, vagyis az, hogy a modell milyen valós, aktuális és megbízható információból dolgozik. A második a folyamat, vagyis az, hogy a modell hol illeszkedik a munkamenetbe, mi indítja el és mi történik a válaszával. A harmadik az emberi ellenőrzés, vagyis az, hogy hol néz rá ember a kimenetre, mielőtt az kárt okozna. A negyedik a köré épített eszközök, vagyis azok az apró programok és szabályok, amelyek a modellt megbízhatóvá és ismételhetővé teszik.

A lényeg egyszerű. Ha valaki csak a csúcsot építi meg, a jéghegy felborul. A demó működik, az éles használat viszont nem. Ez a kurzus végig arról szól, hogyan kell felépíteni azt, ami a víz alatt van.

Miért cserélhető a modell, és miért nem a rendszer

Van egy nagyon gyakorlati oka annak, amiért a modellt a legkisebb munkának nevezem. A modellt ma szó szerint néhány kattintással lecseréled. Kijön egy újabb, erősebb változat, átírsz egy sort a beállításban, és onnantól a terméked azon fut. Váltasz szolgáltatót, mert olcsóbb vagy gyorsabb, és a rendszer többi része ebből semmit nem vesz észre. A modell tehát cserélhető alkatrész, nem pedig a termék lelke.

A köré épített rendszert viszont nem cseréled ki egy kattintással. Az adat, amit összegyűjtöttél és rendbe tettél, a folyamat, amibe beillesztetted a modellt, az ellenőrzési pontok, amiket kialakítottál, és az eszközök, amiket megírattál, mind valódi, felhalmozódó munka eredménye. Ez az, ami a terméket a te termékeddé teszi, és ezt nem lehet néhány perc alatt reprodukálni. Ezért ha a versenyben előnyre akarsz szert tenni, azt sosem a modell választásával nyered meg, hanem azzal, amit köré építesz. Aki csak a legújabb modellt kergeti, mindig ugyanott lesz, mint a többiek, mert ugyanaz a modell mindenki számára elérhető.

Egy magyar példa, ami a demónál kezdődött

Vegyünk egy jellemző esetet. Egy hazai középvállalat ügyfélszolgálati vezetője lát egy lelkes bemutatót, amelyben az AI pár másodperc alatt megválaszol egy ügyfélkérdést. A demó tökéletes, a döntés gyorsan megszületik, és a cég belevág. Az első hét eufórikus, mert a modell tényleg okosan társalog. A második héten viszont jönnek a valós kérdések, és a kép átfordul.

Kiderül, hogy a modell a cég saját szabályzatát nem ismeri, ezért magabiztosan mond olyat, ami nem igaz a cégre. Kiderül, hogy a válaszok sehol nem kerülnek emberi szem elé, mielőtt kimennének az ügyfélhez, így az első kínos válasz egyenesen a levelezésbe jut. Kiderül, hogy az adat, amiből dolgoznia kellene, három különböző rendszerben, rendezetlenül hever, és senki nem gondolta végig, honnan vegye a modell a friss információt. A demó egy tiszta, kitalált kérdésre válaszolt szépen. Az éles működés viszont a cég valódi, rendetlen világával találkozott, és ott derült ki, hogy a modell volt a projekt legkisebb része. Ez a cég nem rossz döntést hozott azzal, hogy belevágott. Csak a jéghegynek egyedül a csúcsát látta, és a víz alatti munkára nem készült fel. Ez a kurzus pontosan ezt a felkészülést adja meg.

Érdemes látni, hogy a megoldás sem a modell lecserélése volt. A cég nem attól lépett előre, hogy talált egy okosabb modellt, hanem attól, hogy rendbe tette az adatot, amiből dolgozott, beépített egy pontot, ahol ember ránéz a kényes válaszokra, és tisztázta, mikor válaszoljon egyáltalán a rendszer és mikor adja át az ügyet embernek. Ugyanaz a modell, más rendszer köré építve, teljesen más eredményt hozott. Ez a különbség a demó és a termék között.

Kinek szól ez a kurzus

Ez a tananyag három embernek íródott, akik ugyanazt a jéghegyet nézik, csak más magasságból. A vállalkozónak, aki eldönti, hogy belevág-e egy AI megoldásba, és tudni akarja, mekkora munka van valójában a víz alatt, mielőtt igent mond egy demóra. A terméktulajdonosnak, aki egy meglévő terméket egészítene ki AI funkcióval, és látni akarja, mi kell ahhoz, hogy az ne csak a bemutatón, hanem élesben is működjön. És a fejlesztőnek, aki maga építi a rendszert, és pontos képet akar arról, milyen sorrendben érdemes felhúzni a rétegeket. Egyik szerephez sem kell előzetes gépi tanulási tudás. A kurzus végig arról szól, hogyan kell egy AI terméket rendszerként végiggondolni, nem arról, hogyan kell modellt tanítani.

Mit vesz végig ez a kurzus

A következő hét lecke sorban végigmegy a jéghegy víz alatti részén, ugyanabban a rendben, ahogy egy valódi termék felépül. Nem elmélet, hanem az az út, amit minden komoly AI megoldásnak be kell járnia. Így néz ki, ami előtted áll.

Mit vigyél magaddal ebből a leckéből

Ha ebből a nyitó leckéből egyetlen gondolatot viszel tovább, legyen ez az. A modell fontos, de nem ott dől el a termék sikere. A modellt lecseréled, ha jobb jön, a köré épített rendszert viszont te hozod létre, és az marad a tiéd. Amikor legközelebb egy AI megoldáson gondolkodsz, ne azzal kezdd, hogy melyik a legjobb modell. Azzal kezdd, hogy milyen adatból dolgozzon, milyen folyamatba illeszkedjen, hol nézzen rá ember, és milyen eszközök kellenek köré. A modell megválasztása ezután pár perc lesz. Minden más, ami igazán számít, a következő leckékben épül fel.