A szerep egy mondatban
Az AI Engineer olyan mérnök, aki foundation modelleket, tehát nagy, előtanított általános modelleket használ arra, hogy alkalmazást és terméket építsen belőlük. A hangsúly az építésen és a szállításon van, nem a modell tanításán. swyx megfogalmazásában, amikor AI terméket kell kiszállítani, mérnökre van szükség, nem kutatóra. Ez a mondat nagyon tömör, de sok minden következik belőle. Következik belőle, hogy az AI Engineer a modellt adottnak veszi, API mögött éri el, és a valódi munkája a modell köré épített rendszer, a kontextus összeállítása, az eszközök bekötése, a kimenet ellenőrzése és az egész megbízható üzemeltetése.
Miben más, mint a modellkutató és az ML mérnök
A klasszikus gépi tanulás mérnök tipikusan adatot gyűjt és címkéz, jellemzőket állít elő, modellt tanít és validál, majd a betanított modellt szolgálja ki termelésben. A modellkutató ennél is beljebb dolgozik, új architektúrán, tanítási eljáráson vagy elméleten. Mindkét szereptől azt várjuk, hogy a modell belső működését mélyen értse, és a tanítás legyen a munkájának középpontjában. Az AI Engineer ezzel szemben a modellt már megtanítva, általános képességekkel kapja meg. Nem a súlyok a terepe, hanem a modell köré épített szoftver. swyx éppen erre a különbségre hívja fel a figyelmet, amikor azt írja, hogy a hatékony AI Engineerek sokszor nem végezték el a klasszikus mélytanulás kurzusokat, és nem feltétlenül ismerik a mélytanulási keretrendszereket sem. Ez nem hanyagság, hanem szereposztás. Ahogy autót vezetni sem a motor tervrajzának olvasásával kezdünk, úgy AI terméket építeni sem a legelső transzformer cikk feldolgozásával kell kezdeni.
Modellkutató és ML mérnök
- Modellt tanít, finomít, validál
- Adat, jellemzők, tanító pipeline
- Architektúra és belső működés a fókusz
- Sikermérce sokszor benchmark a modellen
AI Engineer
- Kész modellre terméket épít
- Kontextus, eszközök, kimenet ellenőrzése
- Rendszer és felhasználói élmény a fókusz
- Sikermérce a termék viselkedése éles helyzetben
Miért jött létre önálló szakmaként
Két strukturális ok találkozott. Az első a foundation modellek emergens képessége. Ezek a modellek olyan feladatokat is meg tudnak oldani, amelyekre nem tanították őket kifejezetten, és swyx megfogalmazása szerint még a készítőik sem tudják pontosan, mi mindenre képesek. Ez azt jelenti, hogy a képességek felfedezése és termékbe fordítása önmagában érdemi mérnöki munka, amelyhez nem kell modellt tanítani. A második ok a kínálati aszimmetria. A modellek tanításához értő kutatók száma nagyságrendekkel kisebb, mint azoké a szoftvermérnököké, akik API-n keresztül képesek ezeket a modelleket használni. swyx érvelése szerint ebből a különbségből törvényszerűen kinő egy közvetítő réteg, azoké, akik a modelleket termékké alakítják. A GPU szűkössége ezt tovább erősíti, mert a tanítási kapacitás korlátozott, így a mérnökök túlnyomó része eleve API mögül fér a modellekhez.
Mi tartozik a napi munkájához
A szerep tudásanyaga néhány visszatérő területre bontható, és a kurzus hátralévő leckéi pontosan ezeket járják körbe. A prompttervezés az, ahogyan a modellt a feladatra ráállítod és a viselkedését szabályozod. A retrieval-augmented generation, magyarul a visszakereséssel bővített generálás az, ahogyan a modellt a saját, naprakész adataiddal etetted meg. Az ügynökök és az eszközhasználat teszi lehetővé, hogy a modell ne csak szöveget írjon, hanem lépéseket is végrehajtson. Az evalok, tehát a kiértékelés az, ahogyan egyáltalán megtudod, jó-e a rendszer. Az inferencia és a költség optimalizálása az, ahogyan a megoldás elég gyors és elég olcsó lesz ahhoz, hogy éles forgalmat bírjon. Végül az üzemeltetés, amit LLMOps néven ismerünk, az, ahogyan mindez idővel stabilan fut, verziózva és visszagörgethetően.
- PrompttervezésA modell viselkedésének irányítása strukturált utasítással és példákkal.
- Kontextus és adatA saját, naprakész tudás bevitele visszakereséssel, RAG felépítéssel.
- Eszközök és ügynökökA modell nem csak ír, hanem lépéseket is végrehajt eszközhívással.
- EvalokMérhetővé tenni, hogy a rendszer valóban azt teszi, amit kell.
- Inferencia és költségElég gyors és elég olcsó megoldás az éles forgalomhoz.
- ÜzemeltetésVerziózott, megfigyelhető, visszagörgethető éles rendszer.
Egy határvonal, amit meg kell húznod. Az AI Engineer legfontosabb döntése, hogy egy adott feladatot a determinista kódra bíz, vagy a modellre. A modell rugalmas, de kiszámíthatatlanabb. A kód kiszámítható, de merev. A jó rendszer a kettőt okosan osztja szét, és a következő leckék végig ezt a szétosztást finomítják.
Workshop
AI Transformation Day
Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.
Érdekel a program →