Ahol a szám nem jött ki
Tizenegy óra megtakarítás, négy és fél óra haszon
Tavasszal egy négyszáz fős logisztikai cégnél végigszámoltuk, mennyi időt szabadít fel az AI a diszpozíciós és a kontrolling csapatnál. Az eredmény szép volt. Egy elemző heti tizenegy órát nyert azzal, hogy a riportvázlatokat, a szállítói leveleket és az adatösszegzéseket nem kézzel írta meg. Három hónappal később viszont a csapat kapacitása nem változott érdemben. Új feladatot nem vettek be, a túlóra nem csökkent, és a határidők sem lettek lazábbak.
Akkor kezdtem külön mérni azt az időt, amit az emberek nem a munkával, hanem a gép munkájának ellenőrzésével töltenek. Átnézik a kimenetet, visszakérdeznek, pótolják a hiányzó hátteret, újrafuttatják a promptot, és a végén eldöntik, rá lehet-e bízni a sajátjuk helyett. Ebből a cégnél heti hat és fél óra lett egy főre. A tizenegy órás megtakarításból négy és fél maradt, és ez a maradék volt az egyetlen, ami a kapacitásban valóban megjelent.
Ennek a jelenségnek mostanra neve is van, a nyugati szakirodalomban botsittingnek hívják. A Work AI Institute felmérése szerint a digitális munkát végzők heti tizenegy órát nyernek az AI-val, és ebből hat és felet visszavesz tőlük a gép felügyelete. Amikor ezt a két számot elolvastam, éppen abban a hónapban zártuk a logisztikai cégnél a saját mérésünket, és a majdnem azonos eredmény tette világossá, hogy itt nem egy rosszul bevezetett eszközről van szó, hanem a technológia természetes költségéről.
Amit senki nem ír fel
A munka, ami a prompt után kezdődik
A felügyeleti idő azért láthatatlan, mert nem hasonlít külön munkára. Senki nem jelenti be, hogy ma két órát töltött egy gép által írt összefoglaló adatainak visszakeresésével. A naptárban nincs rá bejegyzés, a projektjelentésben nincs rá sor, és a dolgozó maga sem így gondol rá, hiszen a saját feladatát végezte, csak más mozdulatokkal.
Amikor a logisztikai cégnél két hétig naplóztuk, mire megy el ez az idő, a lista hamar összeállt. A legnagyobb tétel a háttér pótlása volt, vagyis az, hogy az elemző kézzel másolt be a modellnek adatokat, szerződésrészleteket és korábbi leveleket, mert a rendszer ezeket magától nem látta. Mellé került a visszakeresés, amikor egy kimenetben szereplő számot az eredeti forrásban kellett megtalálni. A maradékot az újrafuttatás vitte el, az a kör, amikor a felhasználó a hibás válasz javítása helyett inkább újra kérte az egészet, és remélte, hogy másodszor jobb lesz.
Ebből a naplóból az is kiderült, hogy a teher nagyon egyenetlen. Egy belső feljegyzésnél az ellenőrzés néhány perc, és a hibának sincs nagy tétje. Az ügyfélhez menő ajánlatnál vagy egy vezetőségi anyagnál viszont hosszabb lett az átnézés, mint amennyi a megírás lett volna, mert a felelősség nem csökkent attól, hogy a szöveget a modell hozta össze. A cégnél a felügyeleti idő kétharmada erre a néhány magas tétű anyagtípusra ment el.
Aki a számlát kifizeti
A felügyelet a legdrágább emberek idejét eszi
Egy pénzügyi holding kontrolling csapatánál ez a teher egészen aszimmetrikusan oszlott el. A junior elemzők örömmel és sokat használták a modellt, a kész anyagot viszont nem ők adták ki a kezükből, hanem a csoportvezető és két tapasztalt kollégája. Náluk a napi munka harmada arra ment el, hogy mások AI-val készített anyagait átnézzék, és a hibákat visszavezessék oda, ahol keletkeztek.
Ez a minta szinte minden projektemen visszatér. Minél alacsonyabb a belépési küszöb egy eszköznél, annál több anyag keletkezik, és annál több ellenőrzés kell ott, ahol a szakmai felelősség ül. A szervezet közben azt méri, hogy hányan használják a rendszert, és ez a szám szépen nő, miközben a felügyeleti teher a legszűkebb belső erőforráson csapódik le.
Ennél a holdingnál ezért átrendeztük a munka átadását. A juniorok nem kész szöveget küldtek tovább, hanem olyat, ami mellé odatették a felhasznált forrásokat, a modellnek adott utasítást és a saját ellenőrzésük nyomát, vagyis azt a három-négy adatot, amit maguk visszanéztek. Így a csoportvezető ellenőrzési ideje néhány hét alatt a felére esett, mert nem kellett újra felderítenie, honnan jött egy szám.
Azt is látni kellett, hogy a probléma egy része nem a modellen múlt, hanem azon, hogy a junior kollégák sosem tanulták meg, mikor elég egy válasz. Ez képzési kérdés, és a megtérülési számításban mégis időként jelenik meg, a csoportvezető naptárában.
Honnan jön
A felügyeleti idő négy forrása
A legtöbb időt az viszi el, hogy a modell nem látja azt, amit a dolgozó lát. A felhasználó lesz az integrációs réteg, aki a vállalati rendszerekből kézzel hordja át az adatot a beszélgetésbe, és utána kézzel hordja vissza az eredményt. Egy hónap alatt ez önmagában több órát tesz ki hetente, és a legegyszerűbben orvosolható tétel, mert technikai kérdés, nem emberi.
Jelentős tétel az eszközök szaporodása is. Egy kreatív ügynökségnél, ahol harmincöt fő dolgozik, hat különböző AI felületet használtak egyszerre, és ugyanaz a kolléga három helyen kérdezte meg ugyanazt, mert egyiknek sem bízott meg teljesen a válaszában. Az összevetés maga lett a munka. Amikor kettőre szűkítették a készletet és tisztázták, melyiket mire használják, az ellenőrzésre fordított idő harmadával csökkent.
Sok idő keletkezik ott is, ahol hiányzik az ellenőrzési norma. Ha a cégben senki nem mondta ki, mit jelent az, hogy egy AI kimenet át van nézve, akkor mindenki a maga mértékét használja. Az óvatosak mindent háromszor visszakeresnek, a merészek ellenőrzés nélkül kiküldik, és a vezető egyikről sem tud. A Work AI Institute adatai szerint a felhasználók több mint kétharmada küld ki olyan AI kimenetet, amit nem nézett át, és ez a két véglet ugyanabból a szabályozatlanságból jön.
Végül ott van a tudás, pontosabban annak hiánya. Aki nem tudja, hogyan irányítson egy modellt, az javítás helyett újrafuttat, és minden körrel újra ott van, ahol volt. Egy féldélutános gyakorlati képzés, ahol a csapat a saját feladatain tanulja meg a javító visszacsatolást, nálam rendre többet ad vissza időben, mint bármilyen eszközbeszerzés.
A mérés csapdája
Használati szám helyett ellenőrzési idő
A cégek többsége ma a használatot méri. Hány licenc aktív, hányan nyitják meg hetente, hány beszélgetés indul. Ezek a számok kényelmesek, mert gyorsan nőnek, és a vezetőségi anyagban jól mutatnak. Arról viszont semmit nem mondanak, hogy a keletkezett anyag mennyit ér, és mennyibe került az ellenőrzése.
Amikor egy bevezetést értékelek, a felszabadult időt és az ellenőrzésre fordított időt egymás mellé írom. A kettő különbsége a tényleges nyereség, és ez az a szám, amit a pénzügyi vezetővel közösen el lehet fogadni. Egy ügyfelemnél ez a mutató mutatta meg, hogy a marketing csapatnál a bevezetés remekül működik, a jogi területen viszont negatívba fordult, mert ott az ellenőrzés hosszabb volt a megírásnál. A jogi terület eszköze nem lett rosszabb, csak a feladat tétje volt más.
Ez a számítás a megtérülési modellemben mostanra külön sor. Korábban a bevezetés költségét és a felszabadult időt állítottam szembe, ma mellé kerül a felügyelet állandó költsége is, mert nem egyszeri tétel, hanem addig velünk marad, amíg a folyamat emberi jóváhagyással zárul.
Amit a gyakorlatban tettünk
Három mozdulat, amely visszaadja az időt
A logisztikai cégnél a kimeneteket tét szerint osztottuk három csoportba. Belső használatú vázlatnál a felhasználó dönt, mennyit ellenőriz. Ügyfélhez vagy hatósághoz menő anyagnál kötelező a forrásra visszavezetett átnézés, névvel. A harmadik csoportba a számokkal dolgozó anyagok kerültek, ahol nem a szöveget, hanem az adatot ellenőrzi valaki, és erre külön sablon készült. Az első csoportnál azonnal eltűnt egy csomó szükségtelen kör, mert kiderült, hogy addig a vázlatokat is úgy nézték át, mintha vezetőségi anyagok lennének.
A következő lépés a háttér átköltöztetése volt a rendszerbe, nem a beszélgetésbe. Egy belső tudásbázisba került a gyakran használt szerződésminta, az árlista, a szállítói törzsadat és a korábbi levelezés, amit a modell elér. Az átmásolás mint napi mozdulat megszűnt, és ezzel a legnagyobb egyedi tétel kiesett a felügyeleti időből. Ennek felépítése két fejlesztői hétbe telt, és az első hónapban megtérült.
Harmadikként a felelősség kimondása következett. Minden anyagtípusnál megnevezték, ki az, aki a kimenetet a sajátjaként adja ki. Erről korábban külön is írtam, mert a felelősség kérdése önmagában is eldönti egy bevezetés sorsát, itt viszont a mérés miatt volt rá szükség. Akinek a neve ott van, az tudja, meddig kell ellenőriznie, és ami ennél is többet hozott, tudja azt is, mikor hagyhatja abba.
Fél évvel később a diszpozíciós csapatnál a felügyeleti idő heti hat és félről két és fél órára csökkent. A tizenegy órás megtakarításból így nyolc és fél maradt, és ez a nyolc és fél óra már valódi kapacitás volt, amit a cég új feladatra fordított.
Amit ebből megtanultam
A felügyelet nem veszteség, hanem tétel
A gép munkájának ellenőrzése nem a bevezetés hibája, hanem a feltétele. Egy olyan rendszernél, ami magabiztosan téved, az emberi átnézés az egyetlen, ami a kimenetet használhatóvá teszi, és ezért az ellenőrzésre fordított idő ugyanolyan jogos költség, mint a licenc vagy a tokenhasználat. A baj abból lesz, ha a cég egyszerre vár el gyorsabb kimenetet és úgy tesz, mintha az ellenőrzésnek nem lenne ideje.
Amit a projektjeimen újra és újra látok, az ennek a kettőnek az összecsúszása. A vezetés az AI-tól időt vár, a dolgozó pedig a felelősségét érzi, és a kettő között az ellenőrzés egy láthatatlan, el nem ismert műszakká válik. Ahol ezt a műszakot kimérik és beárazzák, ott a bevezetés józan számításra kerül, ahol pedig nem, ott a megtakarítás papíron marad, és a cég nem érti, hová tűnt.
A mérés ehhez nem igényel különösebb apparátust. Két hét naplózás egy csapatnál, három kérdéssel minden feladat után. Mennyi ideig írta a gép, mennyi ideig néztem át, mit kellett pótolnom hozzá. Ebből a három adatból már kijön, hogy a cégnél melyik területen van valódi nyereség, és melyiken egy jól szervezett eszköz helyett egy jobban szervezett folyamat kellene.