A vakfolt
A jelenléti ív nem mérés
Amikor egy cég AI képzést rendel, a siker mérése szinte mindig ugyanaz a három szám. Hányan voltak ott, hányan töltötték ki a visszajelző lapot, és hány csillagot adtak. Mind a három a képzés lebonyolításáról szól, egyik sem a szervezet képességéről.
Azt tapasztaltam, hogy emiatt a képzési büdzsé jelentős része vakon megy el. A cég kifizet egy alapozó napot mind a 300 embernek, mert így egyszerű megszervezni és így néz ki jól a riportban. Utána derül ki, hogy a marketing csapat fele már fél éve napi szinten dolgozik nyelvi modellel, a pénzügyön viszont a legelemibb fogalmak sem ülnek. Az egyik csoport unatkozott, a másik lemaradt, és a nap végén mindketten ugyanazt a tanúsítványt kapták.
Az egyik ügyfelemnél, egy 400 fős logisztikai cégnél pontosan ez zajlott le még az érkezésem előtt. A HR büszkén mutatta, hogy 94 százalékos a képzési lefedettség. Amikor viszont leültünk hat diszponenssel, és megkértük őket, hogy oldjanak meg egy valódi, aznapi feladatot a céges AI eszközzel, ketten nyitották meg egyáltalán a felületet. A 94 százalék igaz szám volt. Csak nem arról szólt, amiről a vezetés hitte.
Az AI képzés mérésének problémája nem az, hogy nincs adat. Az a problémája, hogy a rendelkezésre álló adat a részvételről szól, nem a képességről. Ez a kettő nem ugyanaz, és a különbség pontosan ott bosszulja meg magát, ahol a legnagyobb pénz forog, vagyis a bevezetésnél.
A friss adat
Tizenhárom százalék
Egy idei, 88 ezer mérésen alapuló vállalati felmérés szerint az alkalmazottaknak mindössze 13 százaléka éri el a magabiztos szintet az AI ügynökökhöz kapcsolódó képességekben. A vizsgálat 32 ezer embert érintett nagyvállalatoknál és amerikai állami szervezeteknél, 14 különböző AI és adatképesség mentén, egységes, 300 pontos skálán. A 13 százalék a képzés előtti állapotot írja le, és a 14 mért terület közül ez lett a leggyengébb.
Ez a szám azért éles, mert ugyanezek a szervezetek közben már ügynököket vezetnek be. Éles folyamatokra állítanak rá olyan rendszereket, amelyek működését a kollégák nagyjából nyolcada érti. Nem a technológia hiányzik. Az a réteg hiányzik, amelyik értelmesen tud vele bánni, észreveszi, ha valami félremegy, és meg tudja fogalmazni, mit vár el tőle.
A felmérés egy másik állítása még ennél is használhatóbb egy vezetőnek. Az igazolt, méréssel alátámasztott képesség és az önbevallás között rendszeresen komoly a különbség. Ha megkérdezed a szervezetet, ki érzi magát felkészültnek az AI eszközök használatára, sokkal szebb számot kapsz, mint ha ténylegesen megméred. Én is így jártam több projekt elején. A kérdőív alapján a csapat kétharmada haladónak vallotta magát, a valós feladatokon viszont a fele elakadt az első ponton, ahol a promptot pontosítani kellett volna.
Az önbevallás torzítása egyébként nem rosszindulat. Aki hetente háromszor megkér egy modellt, hogy foglaljon össze egy emailt, jogosan érzi úgy, hogy használja az AI-t. Csak éppen ez a használat egészen más liga, mint amikor valakinek meg kell ítélnie, hogy egy ügynök által javasolt lépés helyes-e, vagy hogy egy modell válasza mögött van-e valódi forrás. A skála, amin az illető magát elhelyezi, sokkal rövidebb, mint a valódi skála. Erre a torzításra egyetlen gyógyszer létezik, és az a külső, feladatalapú mérés.
A mintázat
Ahol a régi tudás átvisz, és ahol nem
A mérés eredményeiben van egy mintázat, ami szerintem sokkal többet mond, mint maguk a nyers pontszámok. A szervezetek ott erősek, ahol egy meglévő, régi kompetencia átvihető az új eszközre, és ott gyengék, ahol maga a technológia újdonság.
A legmagasabb pontszámok az adatalapú történetmesélésnél, az AI és adat témájú kommunikációnál, valamint a felelős AI alapjainál születtek, mindhárom 229 és 231 pont között a 300-as skálán. Ezek olyan területek, ahol egy jó prezentáló, egy jó szövegező vagy egy tapasztalt compliance-es már eleve hoz valamit magával. A leggyengébb eredmények a mélytanulás alapjainál, 163 ponttal, és a promptokat, ügynököket és RAG rendszereket lefedő haladó blokknál, 185 ponttal jelentek meg.
Ez a mintázat magyarázza, miért csalóka sok cégnél az első benyomás. A vezetőség azt látja, hogy a kollégák szépen beszélnek az AI-ról, korrekt diákat készítenek róla, és értelmesen érvelnek az etikai kockázatokról. Ebből arra következtet, hogy a szervezet fel van készülve. Közben az a réteg hiányzik, ami a valódi munkát elvégezné, vagyis a rendszerek felépítésének értése, a saját adatra állított megoldások logikája, és annak megítélése, hogy egy ügynök mikor lép túl a hatáskörén.
Egy pénzügyi holding kontrolling csapatánál nagyon plasztikusan láttam ezt. Az egész csapat kiválóan használta a nyelvi modellt riportszöveg írására, mert ez lényegében fogalmazási feladat, amiben eleve jók voltak. Amikor viszont odáig jutottunk, hogy a havi zárás anomáliáit egy saját adatokra épített megoldás jelezze előre, kiderült, hogy senki nem érti, mi kerül be a rendszerbe és mi nem. Négy hónapig azt hitték, jó úton járnak, mert a látható eredmény, a szöveg, tényleg szép volt.
A sorrend
Nem minden hiányosság kerül ugyanannyiba
A felmérésnek van egy harmadik rétege, ami a képzési költségvetés tervezésénél a leghasznosabb. A hiányosságok nem egyforma tempóban zárhatók be. Célzott képzés után a felelős AI témában a résztvevők 81 százaléka jutott el a magabiztos szintre. Az adatvizualizációnál 72 százalékos, a generatív AI alapjainál 53 százalékos, az általános AI alapoknál 47 százalékos javulást mértek.
Ebből egy nagyon gyakorlatias következtetés jön. Vannak területek, ahol egyetlen jól felépített képzési blokk látványos ugrást hoz, és vannak, ahol hónapokig tartó, ismétlődő gyakorlás nélkül semmi nem történik. Ha ezt a különbséget nem ismered, akkor vagy csalódni fogsz, mert a legnehezebb területre tettél egyetlen napot, vagy pazarolsz, mert olyanra költöttél sokat, ami magától is bezárult volna.
Ez az, amit a legutóbbi néhány projektből a legerősebben tanultam. A képzést nem témalistaként állítom össze, hanem sorrendként. Elöl mennek azok a területek, ahol gyors és mérhető a javulás, mert ezek adják a lendületet és a belső hitelességet. Utána jönnek a lassabban záruló, mélyebb témák, amikre nem napot, hanem negyedévet tervezünk, ismétléssel és valódi feladatokkal. Amikor ezt a sorrendet felcseréltük egy ügyfélnél, mert a felsővezetés az ügynökökkel akart kezdeni, a program hat hét alatt elhalt. Nem azért, mert rossz volt az anyag. Azért, mert a résztvevők nem éltek meg egyetlen sikerélményt sem az elején.
Gyakorlat
Hogyan mérd fel a tudást vizsgáztatás nélkül
A mérés szó hallatán a legtöbb HR vezető azonnal védekező állásba megy, és megértem, miért. Senki nem akar olyan rendszert bevezetni, amiben a kollégák úgy érzik, számonkérik és megbélyegzik őket. A jó hír az, hogy a hasznos mérés nem vizsga. Az alábbi öt elem az, amit a saját projektjeimben használok.
Valódi feladat, nem kvíz
Ne azt kérdezd, mit jelent a hallucináció. Adj egy tényleges, az illető munkájából vett feladatot, és nézd meg, hogyan oldja meg AI-val. Egy értékesítőnél ez lehet egy ajánlat összeállítása egy konkrét ügyfélhelyzetre, egy kontrollernél egy eltérés magyarázata. Az eredmény sokkal beszédesebb, mint bármilyen feleletválasztós teszt, és a kolléga sem érzi számonkérésnek, mert a saját munkáját végzi.
Szerepenként külön mérce
Egy jogásznak és egy fejlesztőnek nem ugyanaz a magabiztos szint. Ha egyetlen közös skálán méred őket, mindkettőről rossz képet kapsz. Négy vagy öt szerepcsoport bőven elég a kezdéshez, és minden csoportnak legyen két vagy három saját, jellemző feladata.
Anonim összesítés, névre szóló visszajelzés
A vezetés csoportszintű képet kapjon, ne névsort. Az egyén viszont kapja meg a saját eredményét és a hozzá tartozó következő lépést. Ez a kettősség az, ami elveszi a rendszerből a fenyegetést, és megtartja belőle a hasznot.
Ugyanaz a mérés a képzés után is
Az előtte és utána közötti különbség az egyetlen szám, amivel a képzés hatását igazolni tudod a pénzügy felé. Ez az a pont, ahol a képzési büdzsé átkerül a költség kategóriából a befektetés kategóriába, mert végre van mellé eredmény.
Negyedévente újra
Az AI eszközök féléves ciklusban változnak. Ami tavaly haladó tudás volt, idén alap, és ami tavaly nem is létezett, ma napi munkaeszköz. Egy egyszeri felmérés fél év múlva már történelmi dokumentum.
A mérés maga is üzenet
Van egy mellékhatása ennek a folyamatnak, amire nem számítottam, mégis minden alkalommal megjelenik. Attól, hogy a cég valóban megnézi, ki hol tart, a kollégák elkezdik komolyan venni a témát. Amíg a képzés kipipálandó tétel, addig kipipálják. Amint kiderül, hogy van egy szint, amit meg lehet mutatni és amiben lehet fejlődni, azonnal megjelenik a belső motiváció. Egy gyártó cégnél a második mérés előtt két héttel a belső csoportban több kérdés érkezett az AI eszközökről, mint az azt megelőző fél évben összesen.
A vezetői döntés
Mit kezdj az eredménnyel
A mérés önmagában semmit nem old meg. Attól, hogy tudod, a csapat 13 vagy 30 százaléka boldogul az ügynökökkel, még nem lesz jobb a szám. A haszon abban van, hogy a képzési döntés végre nem érzésre születik.
Egy kreatív ügynökségnél, ahol 35 fő dolgozik, ezt a teljes kört három hét alatt végigvittük. A felmérés után kiderült, hogy a szövegírók lényegében készen vannak, a kreatív tervezők közepesen állnak, és a projektmenedzserek azok, akik napi szinten húsz percet veszítenek olyan feladatokon, amiket egy egyszerű munkafolyamattal ki lehetne váltani. A képzési büdzsé kétharmada így egyetlen csoportra ment, a maradék pedig egy rövid, gyakorlati blokkra a tervezőknek. Amikor ezt elvégeztük, a következő negyedéves mérés a projektmenedzsereknél mutatta a legnagyobb ugrást, és a tulajdonos először látott olyan képzési riportot, amiben nem elégedettségi csillagok szerepeltek, hanem képességszintek.
Egy tanácsadói elemzés is megerősítette, amit én is tapasztalok. Azok a szervezetek húznak el, amelyek a méréssel kezdték, nem a tananyaggal.
Ha a cégednél most készül a következő évi AI képzési terv, egyetlen kérdést tegyél fel a HR-nek, mielőtt aláírod. Meg tudjuk mondani, ki hol tart most, szerepenként, számokban? Ha a válasz nem, akkor a terv nem terv, hanem tippelés. Az első kétszázezer forint, amit a mérésre költesz, jellemzően többet spórol, mint a következő kétmillió, amit képzésre.
Segíthetek a vállalatodat AI-ra felkészíteni?
Ha a témában szeretnél konzultálni, vagy AI bevezetési projekten gondolkozol, keress meg.