Amit nem mértünk, azt nem tudjuk javítani
A kiindulópont felvétele az egyetlen lépés, amit nem lehet pótolni. Minden mást meg lehet csinálni később is, ezt nem, mert ha egyszer elindult a használat, a régi állapot már nem rekonstruálható. Ezért ez az első hét feladata, mindig.
A felvétel nem hónapokig tartó adatgyűjtés. Néhány beszélgetés és egy becslés, amit a folyamatgazda aláír. A lényeg, hogy legyen egy szám és egy dátum.
Mit vegyünk fel
A tudásszint is kiindulópont
Van egy mérés, ami szinte mindig kimarad, pedig a képzés hatását csak ezzel lehet igazolni. Az, hogy a kollégák hol tartanak ma. Egy idei, 88 ezer mérésen alapuló vállalati felmérés szerint a dolgozóknak mindössze tizenhárom százaléka éri el a magabiztos szintet az AI ügynökökhöz kapcsolódó képességekben. A vizsgálat 32 ezer embert érintett, tizennégy képességterület mentén, és ez lett a leggyengébb.
Ez a szám azért éles, mert ugyanezek a szervezetek közben már ügynököket vezetnek be. Nem a technológia hiányzik, hanem az a réteg, amelyik értelmesen tud vele bánni, és észreveszi, ha valami félremegy.
A tudásmérés ne kvíz legyen, hanem valódi feladat. Adjunk a résztvevőnek egy tipikus munkahelyi feladatot, és nézzük meg, mit kezd vele. Szerepenként külön mércével, anonim összesítéssel és névre szóló visszajelzéssel.
Mikor vegyük fel újra
Ugyanazzal a módszerrel, a képzés után hat és nyolc héttel, majd negyedévente. A hat hét azért fontos, mert a képzés utáni első két hétben mindenki jobb, mint amilyen valójában lesz. A tartós szint hat hét körül áll be.
Források és további olvasnivaló
Erik Brynjolfsson, Danielle Li és Lindsey Raymond, Generative AI at Work, NBER Working Paper 31161, később a Quarterly Journal of Economics hasábjain. A tudásmérésről az Az AI képzés, amit senki nem mér le előtte, a mutatókról a Hogyan mérjük az AI bevezetés sikerét című cikkemben.