Mi fut valójában az AI alkalmazások alatt

A modell csak a jéghegy csúcsa

Amikor valaki először kipróbál egy AI alkalmazást, egy chatbotot, egy céges asszisztenst vagy egy dokumentumelemzőt, egyetlen dolgot lát belőle, a választ a képernyőn. Ebből könnyű azt a következtetést levonni, hogy maga a nyelvi modell az egész termék, és minden más csak dekoráció körülötte. A valóság ennek majdnem az ellenkezője. A modell csak a jéghegy csúcsa, a látható rész. Egy éles, napi használatra szánt AI alkalmazás mögött több réteg dolgozik együtt, és ezek nélkül a modell önmagában keveset érne.

Valaminek fogadnia kell a felhasználó kérését, és rendezett formában továbbadnia. Valaminek elő kell keresnie a céghez tartozó tudást, hogy a modell ne csak általánosságokat mondjon. Valaminek emlékeznie kell a beszélgetés korábbi üzeneteire. És valaminek hatékonyan, sok párhuzamos kérés mellett is ki kell szolgálnia magát a modellt. Ezek külön feladatok, külön rétegek, és mind a felszín alatt húzódik meg.

A jó hír az, hogy ezek a rétegek nagyrészt nyílt forrású projektek, amelyeket bárki ingyen letölthet, futtathat és a legapróbb részletig megvizsgálhat. Nincs bennük varázslat, és nincs bennük titok. Ugyanezekből az építőelemekből áll a legtöbb komoly AI termék, a startupok első prototípusától a nagyvállalati rendszerekig. Ez a kurzus ezeket a rétegeket veszi végig egyesével, hogy a végén ne fekete dobozként, hanem érthető alkatrészek jól rendezett sorozataként lásd az AI alkalmazásokat.

Ez az első, áttekintő lecke. A dolga, hogy felrajzolja a teljes térképet, mielőtt a következő leckékben egyenként közelebb megyünk az egyes eszközökhöz. A szerepek megértéséhez nem kell mély technikai háttér. Ha viszont fejlesztőként olvasod, minden réteghez konkrét, széles körben használt eszközt és gyakorlati mintát is kapsz a soron következő leckékben.

Ami a válasz alatt fut

Nézzük végig, milyen rétegekből áll egy tipikus AI alkalmazás, és melyiknek mi a dolga. Mindegyik réteghez egy konkrét, a szakmában széles körben használt nyílt forrású eszköz tartozik, és a kurzus mindegyiknek külön leckét szentel. Érdemes felülről lefelé olvasni a listát, mert nagyjából ez az az út is, amit egy kérés bejár a bejárattól a modellig és vissza.

Fontos hozzátenni, hogy nem minden alkalmazás használja mind a hét réteget. Egy egyszerű chatbot, amely csak a modell általános tudására támaszkodik, elboldogul RAG csővezeték és vektoradatbázis nélkül is. Egy cselekvő ügynök viszont, amelynek a weben kell dolgoznia, kiegészül a böngésző-automatizálással. A rétegek tehát nem kötelező pontok egy listán, hanem eszközök, amelyekből egy adott feladathoz éppen a szükségeseket válogatjuk össze. Attól még hasznos ismerni az egészet, mert így látszik, mi hiányzik egy megoldásból, és mi az, ami fölöslegesen bonyolítja.

Egy kérés útja a rétegeken

Ugyanez a felépítés egyetlen kérés szemszögéből is végignézhető. A felhasználó kérdése belép az API rétegen, az orchestration réteg eldönti, milyen lépések kellenek hozzá, a RAG csővezeték előkeresi a releváns tudást a vektoradatbázisból, majd az inferencia motor lefuttatja a modellt. Az így összeálló válasz ugyanezen az úton jut vissza a felhasználóhoz. A memória és a gyorsítótár közben végig segít, hogy a rendszer emlékezzen a beszélgetésre, és ne végezzen kétszer ugyanolyan munkát.

Miért ugyanaz szinte mindenhol

Amikor ezt a hét réteget egymás mellé tesszük, kirajzolódik egy fontos tanulság. Ezek az eszközök szabadon elérhetők, alaposan dokumentáltak, és nagy, aktív közösség fejleszti őket nap mint nap. Éppen ezért a legtöbb AI termék pontosan ugyanerre az alapra épül. Két, egymástól teljesen független cég megoldása a felszín alatt gyakran meglepően hasonló, mert mindkettő a FastAPI, a pgvector, a LlamaIndex és a többi hasonló komponens köré szerveződik.

Vezetőként ez nem elkeserítő, hanem kifejezetten hasznos információ. Ha tudod, hogy az alaprétegek ingyen elérhetők, akkor egy beszerzésnél a helyes kérdés nem az, hogy milyen technológiát használ az eladó, hanem hogy mennyi a valódi hozzáadott érték a felár mögött. A nyílt forrású elemek önmagukban nem jelentenek versenyelőnyt, hiszen a konkurencia is pontosan ugyanezekhez fér hozzá. A tényleges különbség máshol keletkezik, és épp ezt érdemes megkeresni.

Hol keletkezik hát a valódi érték? Ott, ahol a szabadon elérhető rétegek találkoznak a cég egyedi helyzetével. A saját adatok minősége és rendezettsége, a rétegek gondos összehangolása, a jó promptok, a folyamatos mérés és javítás, valamint a megbízható, biztonságos üzemeltetés. Ezeket nem lehet ingyen letölteni, mert a konkrét szervezethez és feladathoz kötődnek. Ezért két, ugyanabból az alapból induló megoldás között hatalmas minőségi különbség lehet, és pontosan ez az a különbség, amiért érdemes megfizetni a jó partnert.

Egy fiktív példa

Vegyünk egy közepes méretű, kitalált hazai céget, a Duna Logisztika Kft.-t. Kapnak egy ajánlatot egy AI ügyfélszolgálati asszisztensre, tekintélyes havidíjjal. Ha a vezetés ismeri a stack-et, fel tudja tenni a jó kérdéseket, és nem csak az árat nézi. Az asszisztens a színfalak mögött szinte biztosan egy FastAPI bejáratból, egy pgvector alapú vektoradatbázisból, egy LlamaIndex RAG csővezetékből és egy modellhívásból áll. Ezeknek az alaprétegeknek a használata önmagában nem kerül pénzbe.

Akkor mégis miért érhet sokat az ajánlat? Azért, mert a valódi munka a rétegek fölött van. Valakinek be kell töltenie és folyamatosan karban kell tartania a cég saját tudásanyagát, a szabályzatokat, a termékleírásokat, a gyakori kérdéseket. Gondoskodnia kell az adatbiztonságról és a jogosultságokról, hogy az asszisztens ne mondjon olyat, amit nem szabad. Integrálnia kell a meglévő rendszerekbe, és felelősséget kell vállalnia azért, hogy a megoldás hónapok múlva is megbízhatóan működjön. Ez mind tényleges érték, amiért érdemes fizetni.

A Duna Logisztika akkor jár jól, ha a felárat pontosan ezekre a dolgokra kapja, nem pedig a nyílt forrású elemek puszta összerakásáért, amit belátható munkával akár házon belül is meg lehetne oldani. A stack ismerete nem arra való, hogy mindenkit elriasszon a vásárlástól, hanem arra, hogy a cég tisztán lássa, miért fizet.

Hogyan használd ezt a tudást

A cél nem az, hogy mostantól mindenki maga építsen AI rendszert. Sok helyzetben teljesen ésszerű készterméket venni vagy tapasztalt külső partnerrel dolgozni, és ez így is marad. A cél az, hogy tudd, mi van a felszín alatt, és képes legyél megkülönböztetni az igazi hozzáadott értéket a jól hangzó, de olcsón reprodukálható részektől. Ez a különbségtétel a beszerzésnél, a tervezésnél és a partnerválasztásnál is sokat ér.

A következő leckékben rétegről rétegre megyünk végig ezen a térképen. A sort a bejárattal kezdjük, az API réteggel, amelyet a soron következő leckében a FastAPI-n keresztül nézünk meg közelebbről.