A recept egyben
A jó AI munkafolyamat nem egyetlen okos trükk, hanem néhány egyszerű döntés jó sorrendben. A recept, amit itt felépítünk, hat lépésből áll, és szinte bármelyik feladatra ráhúzható. Végig egy kitalált magyar céget követünk, a Pelso Bútor Kft.-t, egy közepes méretű bútorwebshopot, amelynek az ügyfélszolgálata sok beérkező emaillel dolgozik. Náluk fogjuk lépésenként összerakni a folyamatot, és a végén tisztán látszik majd, hol marad az egész ingyenes, és pontosan melyik ponton érdemes egy szűk szeleten fizetősre vagy helyi futtatásra váltani. A cél nem az, hogy mindent ingyen csináljunk mindenáron, hanem hogy tudatosan válogassunk, és a pénzt csak ott vessük be, ahol tényleg számít.
1. lépés, válaszd ki a feladatot
A munkafolyamat mindig a feladatnál kezdődik, nem a modellnél. Először azt kell tisztázni, hol segít valóban a modell, és ott is a leginkább ismétlődő, jól körülírható részt keressük. A Pelso Bútornál ez a beérkező ügyfélemailek kezelése. Naponta sok levél érkezik, és a legtöbb néhány visszatérő témába esik, szállítási kérdés, reklamáció, számlaigény, méret és elérhetőség. A csapat eddig minden levelet elolvasott, kategóriába sorolt, és megírt egy választ. Ebből a modell két részt vesz át, a levél kategorizálását és egy válaszjavaslat megfogalmazását. A végső döntés és a küldés emberi kézben marad. Ez fontos, mert így a modell gyorsít, de nem hoz önállóan visszavonhatatlan lépést. Az alábbi hat lépés ezt a receptet foglalja egybe.
- Válaszd ki a feladatotKeress ismétlődő, jól definiált részt, ahol a modell gyorsít, de az ember marad a döntő.
- Válassz ingyenes szolgáltatótA 02. lecke alapján a feladathoz illő ingyenes keretet, nem a leghangosabb nevet.
- Köss rá az OpenAI-kompatibilis API-raEgyetlen, egységes hívásforma a 03. leckéből, cserélhető háttérrel.
- Tegyél be tartalék szolgáltatótA 07. lecke tanulsága, ha az elsődleges kimarad, a folyamat ne álljon le.
- Az érzékeny adatot tartsd helybenA személyes és bizalmas részt maszkold ki, vagy futtasd saját gépen.
- Mérd és válts a kritikus pontonHa nő a volumen vagy a tét, ott lépj fizetősre vagy helyire, máshol maradj ingyenes.
2. lépés, válassz ingyenes szolgáltatót
A második lecke végigvette a nagy ingyenes szolgáltatókat. A választásnál nem a legismertebb nevet keressük, hanem azt, amelyik a mi feladatunkhoz illik. Kategorizáláshoz és rövid válaszjavaslatokhoz egy gyors, ingyenes keretet adó szolgáltató bőven elég, nincs szükség a legerősebb, legdrágább modellre. A Pelso Bútor egy olyan szolgáltatót választ, amely ingyenes szinten is elérhető, és amelynek a modelljei jól teljesítenek magyar szövegen. A lényeg, hogy a feladat és a modell mérete találkozzon. Egy egyszerű kategorizálásra a legnagyobb modell pazarlás, egy összetett elemzésre pedig egy túl kicsi modell kevés lenne. A jó választás mindig a feladathoz szabott, nem a legdrágább és nem is a leggyengébb.
3. lépés, az OpenAI-kompatibilis API
A harmadik lecke megmutatta, miért olyan hasznos az OpenAI-kompatibilis API. A legtöbb ingyenes szolgáltató ugyanazt a hívásformát érti, így a kódban jó eséllyel csak a base_url-t és a modellnevet kell átírni ahhoz, hogy másik szolgáltatóra váltsunk. A Pelso Bútor fejlesztője ezért nem köti magát egyetlen céghez. A folyamat egyetlen, egységes függvényen keresztül hív, és ez a függvény tudja, melyik szolgáltatóhoz melyik base_url és melyik modellnév tartozik. Ez az egyszerű döntés teszi lehetővé a következő lépést, a tartalék szolgáltató beépítését szinte ingyen. Ha nem egységes formán keresztül hívnánk, minden szolgáltatóhoz külön kódot kellene írni és karbantartani, és a váltás sokkal nehézkesebb lenne.
4. lépés, tegyél be tartalék szolgáltatót
A hetedik lecke egyik fő tanulsága, hogy az ingyenes szolgáltatók megbízhatósága nem garantált. Előfordul, hogy egy szolgáltató épp lassú, elérte a napi ingyenes keretét, vagy karbantartás alatt áll. Ha a folyamat egyetlen szolgáltatóra épül, ilyenkor megáll. A megoldás egy tartalék szolgáltató. A hívó függvény először az elsődleges, ingyenes szolgáltatót próbálja, és ha az hibát ad vagy nem válaszol időben, automatikusan átvált a tartalékra. Mivel mindkettő ugyanazt az OpenAI-kompatibilis formát érti, ez mindössze néhány sor plusz kód. A Pelso Bútornál így a levelek feldolgozása akkor sem áll le, ha az egyik szolgáltató épp nem elérhető. A tartalék lehet egy másik ingyenes szolgáltató is, tehát a stabilitás nem feltétlenül kerül pénzbe.
Két szolgáltató, egy folyamat. Egy elsődleges ingyenes szolgáltató végzi a munka javát, egy tartalék pedig átveszi, amikor az első kimarad. Így az ingyenes megoldás is stabil marad, gyakran minden extra költség nélkül.
5. lépés, az érzékeny adat maradjon helyben
Az adatvédelem nem opció, hanem alap. Az ingyenes szolgáltatóknál különösen figyelni kell, mit küldünk el. Az általános szabály egyszerű, az érzékeny adatot vagy helyben tartjuk, vagy kihagyjuk a hívásból. A Pelso Bútor emailjeiben van ügyfélnév, cím, néha telefonszám. Ezeket a folyamat kimaszkolja, mielőtt a szöveg a szolgáltatóhoz kerülne, tehát a modell a lényegi kérdést látja, a személyes azonosítót nem. Ahol a tartalom önmagában bizalmas, és nem elég csak az azonosítót eltávolítani, ott jobb megoldás egy helyben futó, nyílt súlyú modell, ahogy az ötödik leckében az Ollama esetében láttuk, mert akkor az adat el sem hagyja a céget. A tudatos adatkezelés nemcsak jogi kötelesség, hanem bizalmi kérdés is az ügyfelek felé.
6. lépés, mérd és válts a kritikus ponton
Az utolsó lépés a mérés. Egy darabig nem tudjuk, elég-e az ingyenes keret, amíg éles forgalmon nem látjuk. Ezért a folyamat naplózza, hány hívás megy át, hol akad el, és milyen gyakran kell a tartalékhoz nyúlni. Amíg az ingyenes keret fedezi a napi mennyiséget, és a minőség elég jó, nincs miért fizetni. Amikor viszont nő a volumen, vagy egy feladat tétje megnő, ott érdemes a kritikus ponton fizetősre vagy helyire váltani. Nem mindenhol, csak ott, ahol tényleg számít. Erről szólt a hatodik lecke, és ez a recept lelke. A pénzt nem szórni kell, hanem célzottan, a legérzékenyebb ponton bevetni. Az alábbi összevetés segít eldönteni, melyik oldalon áll egy adott feladat.
Az ingyenes bőven elég
- Kis és közepes napi mennyiség
- Kategorizálás, rövid válaszjavaslat
- A hiba könnyen javítható, alacsony a tét
- Ember mindig ellenőrzi a végeredményt
Itt válts fizetősre vagy helyire
- Nagy, folyamatosan növekvő volumen
- Magas tét, kevés a hibatűrés
- Erősen bizalmas adat, ami nem hagyhatja el a céget
- Egyenletes, garantált rendelkezésre állás kell
A Pelso Bútor összerakva
Nézzük végig a kész folyamatot. Reggel beérkezik egy ügyfélemail. A rendszer kimaszkolja belőle a személyes adatokat, majd az egységes hívón keresztül elküldi az elsődleges ingyenes szolgáltatónak, azzal a kéréssel, hogy sorolja kategóriába és fogalmazzon meg egy válaszjavaslatot. Ha a szolgáltató épp nem válaszol, a hívó automatikusan a tartalékhoz fordul. Az eredmény, a kategória és a javasolt válasz, megjelenik az ügyfélszolgálatos előtt, aki átnézi, szükség esetén javítja, és elküldi. A csapat így ugyanazt a levélmennyiséget rövidebb idő alatt kezeli, a folyamat pedig ingyen vagy nagyon olcsón fut. Ha egy nap kiugróan sok reklamáció érkezik, és ezek nagyobb tétet hordoznak, a csapat épp ezt a szűk szeletet irányíthatja egy erősebb, fizetős modellre, a többi levél maradhat az ingyenes szolgáltatónál. Pontosan ez a tudatos válogatás a lényeg. Egy folyamat, amely alapból ingyenes és stabil, de a kényes pontokon képes felkapcsolni egy erősebb fokozatra.
Záró gondolat
Ez a kurzus egyetlen üzenet köré épült. Ingyen is nagyon messzire lehet jutni, ha tudatosan válogatsz. A modern eszközök nagy része elérhető ingyenes szinten, az OpenAI-kompatibilis API pedig szabaddá tesz a szolgáltatók között. A fizetőset nem kidobni kell, hanem okosan használni, csak ott, ahol tényleg számít, a legérzékenyebb, legnagyobb tétű ponton. A legtöbb hétköznapi céges feladat viszont bőven megoldható ingyen, egy jól megtervezett, tartalékkal védett folyamattal. Innen több irányba is tovább lehet lépni. A KD AI Academy többi kurzusa, például a modern AI stack, mélyebben tárgyalja, hogyan illesztheted ezt a tudást nagyobb rendszerbe, hogyan építesz köré több lépéses folyamatokat, és hogyan méred a valós hatását. Ha idáig eljutottál, a legfontosabb már megvan. Tudod, mit választhatsz ingyen, és tudod, mikor éri meg fizetni. A záróteszt ezt a képet zárja össze.
Workshop
AI Transformation Day
Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.
Érdekel a program →