Referenciaarchitektúra és a szerep jövője

Egyetlen kép a sok részletből

A kurzus minden leckéje egy-egy elemet vizsgált külön. Most ezeket egy működő rendszerré rakjuk össze. Egy éles LLM alkalmazás nem egyetlen modellhívás, hanem egy réteges rendszer, amelyben a modell csak az egyik komponens. A rendszernek van kéréskezelő útvonala, amelyen minden kérdés végigmegy, és vannak keresztmetsző szolgáltatások, amelyek az egészet átszövik, mint az evalok, a megfigyelhetőség, a verziózás és a biztonság. A referenciaarchitektúra célja nem egy konkrét termék lemásolása, hanem a visszatérő szerkezet megmutatása, amely a legtöbb komoly rendszerben felismerhető. Aki ezt a szerkezetet érti, az egy új feladatnál nem nulláról tervez, hanem tudja, milyen dobozokból áll a rendszer, és hol vannak a fontos döntési pontok.

Egy kérés útja lépésről lépésre

Kövessünk végig egyetlen kérdést, hogy a kép mozgásba lendüljön. A kérés a kliensről az átjáróra érkezik, ahol az első bemeneti szűrés történik, a nyilvánvalóan rossz vagy nem megengedett tartalmat itt fogjuk meg. Az átjáró átadja a kérést az orkesztrációnak, amely a rendszer kód magja, a determinista logika, amely eldönti, mi történjen. Ha a válaszhoz saját tudás kell, az orkesztráció visszakeresést indít, tehát a kérdésből lekérdezést készít, dokumentumokat hoz elő az indexből, és a legrelevánsabbakat átrendezi. Ezekből és a rendszerutasításból összeáll a végső prompt. Ha a feladathoz cselekvés is kell, az orkesztráció eszközöket hív, és az eredményt visszaforgatja. A modellhívás a gyorsítótáron, az útválasztáson és egy tartalék útvonalon keresztül fut, hogy gyors, olcsó és hibatűrő legyen. A modell kimenete nem megy azonnal a felhasználóhoz, hanem előbb a guardrail rétegen halad át, amely a sémát és a tartalmat ellenőrzi, és szükség esetén javító hurkot indít. Ami e sok lépés közben történik, azt a megfigyelhetőség teljes nyomvonalként rögzíti, a mérőszámok pedig az evalokba és a monitoringba folynak. Az egész út a nyolcadik és a tizedik lecke elveivel gyors, olcsó és biztonságos, és minden lépés a determinista kód meg a modell közötti határon egyensúlyoz.

Mi változik és mi marad

A záró kérdés az, hogy mibe érdemes hosszú távon fektetni, amikor a modellek ilyen gyorsan javulnak. A kulcs annak felismerése, hogy mi a mulandó és mi a tartós. Mulandó a konkrét modell, a pillanatnyi árazás, egy adott eszköz és a napi trükkök, amelyek fél év alatt elavulnak. Tartós viszont a rendszertervezés, tehát hogyan húzod meg a határt a kód és a modell között, a kiértékelés fegyelme, tehát honnan tudod egyáltalán, hogy jó a rendszered, a termékérzék, tehát mit érdemes egyáltalán megépíteni, és az ítélőképesség, tehát a jó és a rossz kimenet megkülönböztetése. Ezek a készségek akkor is értékesek maradnak, amikor a modell alattuk kicserélődik. Éppen ezért az egyre erősebb modell nem feleslegessé teszi az AI Engineert, hanem följebb emeli a munkáját. Ahogy az alsóbb rétegeket a modell átveszi, a mérnök figyelme a rendszer egészére, a megbízhatóságra és a valós felhasználói értékre tolódik.

A szerep jövője

swyx alapérve az volt, hogy a modelleket használni tudó szoftvermérnökök száma nagyságrendekkel nagyobb, mint a modelleket tanítani tudó kutatóké, és ebből a különbségből szükségszerűen kinő egy közvetítő réteg, azoké, akik a modellekből terméket építenek. Ez a réteg az elmúlt időszakban önálló szakmává érett, saját eszközkészlettel és tudásanyaggal, amit ez a kurzus végigjárt. Az AI Engineer így a kutatás és a termék közötti híd. Nem a modell belső matematikáját tolja előre, hanem a modell képességeit fordítja megbízható, biztonságos és gazdaságos rendszerré, amit valódi emberek használnak. Ahogy a modellek erősödnek, ez a híd nem szűkül, hanem szélesedik, mert egyre több képesség válik termékesíthetővé, és minden új képesség köré kell a rendszer, a kiértékelés és a felelős üzemeltetés. A kurzus tizenkét leckéje ehhez a szerephez adott alapot. A prompttervezéstől a RAG-on és az ügynökökön át az evalokig, az inferencia és a költség kézben tartásáig, a strukturált kimenetig, a biztonságig és az üzemeltetésig ugyanaz a mérnöki gondolkodás vezetett végig. Adottnak venni a modellt, és köré megbízható rendszert építeni.

Forrás

A lecke és a kurzus swyx „The Rise of the AI Engineer" esszéjén (latent.space), Chip Huyen AI Engineering fogalmi keretén, valamint az OpenAI és az Anthropic hivatalos építési dokumentációján alapul, magyar feldolgozásban. Az anyag oktatási célú, terméknevektől és pillanatnyi árazástól szándékosan függetlenített, a mérnöki elveket állítja középpontba.