Kiindulópont
A kérdőív, ami szebb képet festett a valóságnál
Egy 600 fős biztosítónál tavaly ősszel három hónappal a bevezetés után kérdőívet küldtünk ki. Az eredmény biztatónak tűnt. A válaszadók nagy többsége heti rendszerességű használatról számolt be, és a legtöbben azt írták, hogy elemzésre, szerződések összevetésére és ügyféllevelek előkészítésére használják a céges AI asszisztenst.
Aztán a power user csoporttal, a kollégák előzetes hozzájárulásával, átnéztünk néhány tucat anonimizált beszélgetést. A kép egészen más lett. Kiderült, hogy a beszélgetések jelentős része levelek átfogalmazásáról szólt, és az elemzésnek nevezett munkamenetek nagyjából fele ott ért véget, hogy valaki bemásolt egy táblázatot, a modell jelezte, hogy a formátum széttört, a kolléga pedig feladta. Ezek az emberek a kérdőívben őszintén azt írták, hogy elemzésre használják az eszközt. Megpróbálták, csak éppen nem sikerült.
Azt tapasztaltam, hogy az önbevallás a szándékot méri, a használati nyom viszont a súrlódást. A bevezetés sorsa pedig a súrlódáson dől el. Aki háromszor elakad ugyanazon a lépésen, az negyedszer már meg sem próbálja, és a következő kérdőívben is azt fogja írni, hogy használja az eszközt, csak kevesebbet.
Ami szeptemberben változott
A munkanapló, amit eddig kézzel kellett összerakni
Amit a biztosítónál napokig tartó kézi munkával csináltunk, azt az Anthropic szeptemberben béta funkcióként beépítette a Claude Enterprise csomagba. A funkció neve smart reports, és a súgóoldal leírása szerint a kiválasztott csoport beszélgetéseiből vett mintát elemzi. Munkafolyamokba rendezi a munkameneteket, megmutatja, milyen kézzelfogható eredmények születtek, mennyibe került egy átlagos munkamenet, hol akadtak el rendszeresen a felhasználók, és mely ismétlődő mintákat volna célszerű közös skill-lé csomagolni.
Admin felület eddig is létezett a nagy platformokon. Aktív felhasználók, üzenetszám, napi csúcsok. Ezekből annyi derült ki, hogy az emberek belépnek. Azt viszont egyik sem mondta meg, mit csinálnak odabent, és miért hagyják félbe. Az új riport a munka tartalmát olvassa, és ettől lesz belőle bevezetési eszköz a puszta statisztika helyett.
Aki nem Enterprise csomagon van, vagy más platformot használ, annak sem kell várnia. Az alábbi logika kézzel is végigvihető, egy kisebb anonimizált mintán, önként jelentkező kollégákkal. Lassabb és kevésbé teljes, a felismerések viszont ugyanazok lesznek.
A kézi változatot így szoktam felépíteni. Kérünk nagyjából nyolc önkéntest különböző csapatokból, akik egy hétig minden AI munkamenet után két mondatot írnak egy közös táblázatba. Mit akartak elérni, és sikerült-e. Ahol elakadtak, ott a beszélgetést is megosztják velünk, a személyes és ügyféladatok kitakarásával. A hét végén a power user csoport ezeket a bejegyzéseket rendezi három kupacba, a sikeres munkára, az elakadásra és az ismétlődő feladatra. Egy ilyen mintából ritkán jön ki megbízható szám, a súrlódási pontok és a közös munkamódszerre érett feladatok viszont szinte mindig kirajzolódnak. Arra is jó, hogy a kollégák megszokják, hogy a munkájuk nyoma a bevezetés javítására szolgál, és amikor később egy automatikus riport jön, már nem idegen a gondolat.
Súrlódás
Ahol a munkamenet rendszeresen elakad
A súrlódás ritkán a modell hibája. Legtöbbször a környezet hiányos. Az egyik pénzügyi holding kontrolling csapatánál azt láttuk, hogy a riportkészítők minden reggel kézzel exportálták a főkönyvi kivonatot, átmásolták a beszélgetésbe, és utána hosszan magyarázták a modellnek az oszlopok jelentését. Ez naponta ugyanazzal a húsz perccel kezdődött, és a hónap végi zárásnál a kollégák inkább visszatértek a régi Excel makróikhoz. Amikor a belső adatforráshoz bekötöttük a megfelelő csatolót, és egyszer rögzítettük az oszlopok leírását, a reggeli bevezető eltűnt. Még a zárási héten is maradt a használat.
A súrlódásnak három visszatérő fajtáját látom a projektjeimen. Leggyakoribb a hiányzó hozzáférés, amikor a kolléga kézzel hordja át az adatot két rendszer között. Ezt jellemzően egy admin beállítás vagy egy csatoló percek alatt megoldja, csak eddig senki nem tudott róla. A második a kontextus újramagyarázása. Ugyanazt a céges hátteret, hangnemet vagy szabályt mindenki minden alkalommal újra leírja, és ezt projektleírással vagy közös utasításkészlettel lehet egyszer rögzíteni. A harmadik a képességhiány, amikor a kolléga olyan feladatot próbál megoldani, amihez rossz megközelítést választ, például egyetlen üzenetben kér egy teljes elemzést lépések helyett. Erre képzés kell, méghozzá célzott, arra a konkrét feladatra.
Ebből a sorrendből tanultam a legtöbbet. A legtöbb szervezet a képzéssel kezd, pedig a súrlódás jó része technikai, és egy délutáni beállítással eltűnik. Ha előbb a hozzáférési és kontextus problémákat zárjuk le, a képzésre szánt idő a valódi készséghiányra jut.
Ismétlődő munka
Amit tízen tízféleképpen találnak fel újra
Egy kreatív ügynökségnél, ahol 35 fő dolgozik, a mintavétel során kiderült, hogy kilenc ember, egymástól függetlenül, rendszeresen ugyanazt csinálja. Az ügyfél briefjéből kivonatot készít, összeveti a korábbi kampányokkal, és listát ír a hiányzó információkról. Mindenkinek megvolt a saját utasítása, amit hónapok alatt csiszolt. Kettő kifejezetten jól működött, a többi közepesen, egy pedig rendszeresen kihagyta a költségkeretet, ami a briefek felénél a legérzékenyebb pont volt.
Amikor ezt elvégeztük, leültünk a két legjobb utasítás gazdájával, és a kettőből egy közös, csapatszintű munkamódszert raktunk össze, amit a teljes ügynökség elér. A briefelemzés ideje érezhetően rövidült, de nekem nem ez volt a legnagyobb nyereség. Az új kollégák az első héttől ugyanazon a színvonalon dolgoztak, mint a régiek, és a projektvezetők végre egységes formában kapták meg a hiánylistát.
Nem minden ismétlődő minta alkalmas csomagolásra. Én három feltételt nézek. Legalább négy vagy öt ember csinálja rendszeresen. A lépések stabilak, és nem változnak ügyfélről ügyfélre. Az eredmény ellenőrizhető, vagyis valaki meg tudja mondani, hogy jó lett-e. Ha ebből bármelyik hiányzik, a közös skill hamar elavul, és a kollégák visszatérnek a saját változatukhoz.
A csomagolásnál a gazda kijelölése dönti el a hosszú távú sikert. Minden közös munkamódszernek kell egy felelős, aki negyedévente ránéz, frissíti, és akihez a hibajelzés fut. Gazda nélkül a legjobb skill is fél év alatt elavul, és ugyanoda jutunk, ahonnan elindultunk.
Drága munkamenetek
A legköltségesebb beszélgetés nem feltétlenül a legrosszabb
A riport külön listázza a legdrágább munkameneteket és a legösszetettebb, önállóan futó feladatokat. Ilyenkor az első reakció szinte mindig a vágás. Az egyik gyártócégnél a pénzügyi igazgató a lista láttán azonnal limitet akart bevezetni. Amikor végignéztük a tételeket, kiderült, hogy a három legdrágább munkamenet egy beszállítói szerződéscsomag átvilágítása volt, ami korábban egy külső jogi irodánál hetekig tartott, és a díja nagyságrenddel meghaladta a modellhasználat költségét.
A drága munkamenetek listáját ezért két kérdéssel olvasom. Mekkora értéket hozott a munka, és ugyanez az eredmény elérhető lett volna-e olcsóbban, például rövidebb kontextussal, kisebb modellel vagy lépésekre bontva. Az első kérdés a jó példákat szűri ki, amelyeket érdemes a többieknek is megmutatni. A második a pazarlást, ahol a kolléga egyszerűen nem tudja, hogy egy egyszerű átfogalmazáshoz felesleges a legerősebb modellt és a teljes dokumentumtárat bevonni.
Korábban a futó költségek kezeléséről részletesebben írtam. Itt annyit tennék hozzá, hogy a használati adat nélkül a költségvita vakon folyik, mert csak a számla végösszege látszik, a mögötte lévő munka nem.
Bizalom
A megfigyelés érzése gyorsabban öl, mint a rossz eszköz
Egy 400 fős logisztikai cégnél a pilot közepén elterjedt a hír, hogy a vezetés olvassa a beszélgetéseket. Ebből egy szó sem volt igaz, de két héten belül érezhetően visszaesett a használat, és a megmaradt beszélgetések steril, óvatos kérdésekké váltak. Az emberek elkezdtek otthon, saját fiókkal dolgozni, ami adatvédelmi szempontból sokkal nagyobb kockázat, mint bármilyen belső elemzés.
Ezen a ponton az Anthropic megoldása átgondoltnak tűnik. A személyes beszélgetések alapértelmezésben csak összesítve jelennek meg, nevek és egyedi munkamenetek nélkül. Nevek megjelenítéséhez szervezeti és riportszintű engedély is kell, és minden ilyen felfedés naplózódik. Technikai védelem ettől még nem pótolja a kommunikációt.
Az ügyfeleimnél a riport bekapcsolása előtt három dolgot rendezünk. A munkavállalókat a munka törvénykönyve szerint előzetesen tájékoztatni kell az ellenőrzésre alkalmas technikai eszközről, és ahol van üzemi tanács, ott velük is egyeztetünk. Írásban rögzítjük, hogy az adat a bevezetés javítását szolgálja, egyéni teljesítményértékelésre nem használjuk, és ezt a vezetői csapat nyilvánosan is kimondja. A riport eredményeit pedig visszaadjuk a csapatnak, mert amikor a kollégák azt látják, hogy a panaszaik alapján egy héten belül megérkezett a hiányzó csatoló, a bizalmatlanság helyére érdeklődés lép.
Ritmus
Havi egy riport, három javítás, egy közös skill
A használati adat akkor ér valamit, ha rendszeres döntéseket hoz. Az általam javasolt ritmus havi egy kör. A hónap elején lefut a riport a kiválasztott csoportokra, és egy kis csapat átnézi. Nálam ebben benne van a power user közösség vezetője, egy IT admin, aki a hozzáféréseket tudja állítani, és valaki a HR-ből, aki a képzési tervet kezeli.
A megbeszélés kimenete szándékosan szűk. Három súrlódási pont, amit a következő hónapban megszüntetünk, egy ismétlődő minta, amiből közös munkamódszer lesz, és egy képzési téma, ami a valódi készséghiányra reagál. Többet egy hónap alatt nem tud befogadni a szervezet, és a túl hosszú teendőlista a riportot is hiteltelenné teszi.
A következő havi riport így egyben kontroll is. Látszik, hogy a megszüntetett súrlódás tényleg eltűnt-e, és hogy az új közös skill-t használják-e, vagy a kollégák maradtak a saját változatuknál. Egy közepes méretű szolgáltató cégnél négy ilyen kör után a bevezetési megbeszélések hangneme is megváltozott. A vezetők nem arról vitatkoztak, hogy működik-e az AI, hanem konkrét munkafolyamokról, konkrét akadályokról és konkrét javításokról.
Az AI bevezetés legnagyobb részét eddig becslésekre és jó szándékú önbevallásra építettük, mert a munka maga láthatatlan maradt. Ahol most a nyomai olvashatóvá válnak, ott a bevezetés vezetése a hangulatjelentések helyett a munka tényleges akadályaira költheti az idejét.
kdconsulting.hu · [email protected]