A jelenléti ív nem mérés
A leggyakoribb adoptációs mutató az, hányan kaptak licencet, a második pedig az, hányan léptek be legalább egyszer. Egyik sem mond semmit. Az első beszerzési adat, a második kíváncsiság.
A használat mérésének egyetlen értelmes formája a rendszeres visszatérés. Aki héten legalább háromszor használja, az beépítette a munkájába. Aki havonta egyszer, az még próbálgatja.
Három szint, amit érdemes nézni
Az átlag, ami elrejti a lényeget
Az átlagos használati adat majdnem mindig félrevezet, mert két csoport keveredik benne. Van néhány nagyon aktív felhasználó, és van egy nagy tömeg, aki alig nyúl hozzá. Ha csak az átlagot nézzük, az elfogadható képet ad, miközben a szervezet nagy része nem használja.
Ezért érdemes megoszlásban nézni. Hány százalék a heti három napnál többet használó, hány százalék az alkalmi, és hány százalék az, aki egyáltalán nem. A harmadik csoport mérete a valódi jelzés.
Egy 200 fős leányvállalatnál az aktív használat 12 százalékról 68 százalékra nőtt 90 nap alatt, de ez nem a licencektől történt. Attól, hogy szerepkörönként megmutattuk, mire jó, és minden érintett részlegbe került egy power user.
A haszon eloszlása, ami meglepi a vezetőket
Egy nagy mintás kutatás több mint ötezer ügyfélszolgálati munkatárs adatait vizsgálta egy generatív asszisztens bevezetése körül. Az átlagos termelékenységnövekedés tizennégy százalék volt, de a kevés tapasztalattal rendelkezőknél a javulás harmincnégy százalék körül alakult, a legtapasztaltabbaknál pedig gyakorlatilag nulla.
Ennek üzleti következménye van. Ha a pilot csapatot a legjobbakból válogatjuk, akkor nem fogunk eredményt látni, és tévesen arra jutunk, hogy nem működik. A mérésnél is érdemes tapasztalati szint szerint bontani, különben az átlag elfedi a valódi hatást.
Források és további olvasnivaló
Erik Brynjolfsson, Danielle Li és Lindsey Raymond, Generative AI at Work, NBER Working Paper 31161, később a Quarterly Journal of Economics hasábjain. Az adoptációs mutatókról a Hogyan mérjük az AI bevezetés sikerét című cikkemben.