A kísérlet
Ezerkétszáz ember, három kísérlet, egy elvett asszisztens
Öt kutató, Grace Liu a Carnegie Mellonról, Brian Christian a Berkeley-ről, Tsvetomira Dumbalska Oxfordból, Michiel Bakker az MIT-ről és Rachit Dubey a UCLA-ról, 1222 online résztvevővel futtatott három véletlen besorolásos kísérletet. A feladatok iskolásak voltak, törtekkel kellett számolni és szöveget értelmezni. Senki nem kapott büntetést a rossz válaszért, és a fizetés sem függött a teljesítménytől. Minden feladat mellett ott volt egy kihagyás gomb, úgyhogy aki kihagyott, az döntött, és nem azért lépett tovább, mert nem tudta a megoldást.
Az AI csoport egy oldalsávban kapott egy GPT-5 asszisztenst, amit a kutatók előre megetettek a feladatok megoldásával. Elég volt beírni, hogy „válasz?“, és ott volt a kész eredmény. A résztvevők nagyjából tíz percet dolgoztak így, aztán a teszt szakasz előtt az asszisztens figyelmeztetés nélkül eltűnt, és mindenkinek egyedül kellett tovább számolnia.
Az első kísérletben 354 ember vett részt, az elemzésbe 305 került be. A záró három feladatnál az AI csoport megoldási aránya 0,57 volt, a kontrollcsoporté 0,74. Kihagyásban is nagy a különbség, 0,20 az AI csoportnál és 0,11 a kontrollnál. A második kísérletben 667 fő indult, 585 maradt az elemzésben, itt a megoldási arány 0,71 lett az AI csoportnál és 0,77 a kontrollnál, a kihagyási arány különbsége pedig összesítve nem volt statisztikailag szignifikáns. Szövegértésből a harmadik kísérlet 201 fővel futott, ebből 168 került az elemzésbe, a megoldási arány itt 0,76 és 0,89, a kihagyás 0,08 és 0,01.
Három különböző csoport, két különböző feladattípus, és az irány mindháromszor ugyanaz. Aki tíz percig kész válaszokat kapott, az utána rosszabbul számolt és hamarabb adta fel.
Miért történik
Az azonnali válasz átállítja, mennyi erőfeszítés tűnik ésszerűnek
A szerzők magyarázata egyszerű. Ezek az asszisztensek azonnal és teljes választ adnak, szinte sosem mondanak nemet, és ezzel hozzászoktatják az embert ahhoz, hogy a megoldás három másodperc alatt megjön. Ha egyszer ezt megtapasztaltuk, a tíz perces küszködés pazarlásnak hat. Közben pont ez a küszködés a készségépítés alapja, és a kitartás az egyik legerősebb előrejelzője annak, hogy valaki hosszú távon megtanul valamit.
Én ezt a saját bevezetési projektjeimben úgy látom, hogy az ember fejében él egy belső mérce arról, mennyi erőfeszítést ér meg egy feladat. Ez a mérce nem fix. Minden egyes gyors válasz lejjebb tolja. Amikor aztán nincs ott a gép, a mérce ott marad, ahová az asszisztens letolta, és a nehéz feladat így hamarabb kerül a kihagyás gombra. Senki nem dönt úgy tudatosan, hogy mostantól kevesebbet fog küzdeni, egyszerűen a küzdés ára lett magasabb a fejében.
A kitartást sokan jellemvonásnak tartják, pedig tanult viselkedés. Ugyanúgy épül, mint egy izom, és ugyanúgy vissza is fejlődik, ha nem használjuk. A kísérletben ez a visszafejlődés már percek alatt mérhető volt, nem hónapok alatt. Aki vezetett már csapatot, az ismeri a jelenséget másik oldalról is, egy olyan kolléga, aki hozzászokott, hogy a bonyolult ügyeket a főnök oldja meg, idővel egyre hamarabb viszi fel a problémát, ahelyett hogy nekiállna. Az asszisztens ebben a szerepben egy mindig elérhető, mindig türelmes főnök, aki soha nem küldi vissza az embert gondolkodni.
A használat módja
A tippet kérők javultak, a választ kérők romlottak
A legtöbbet a második kísérlet használati bontása mondja el. Ott a résztvevők 61 százaléka mondta, hogy közvetlenül a választ kérte a géptől, 27 százalékuk tippet vagy magyarázatot kért, 12 százalékuk pedig nem is használta az asszisztenst. A záró feladatoknál a közvetlen választ kérők megoldási aránya 0,65 lett, a tippet kérőké 0,76, a nem használóké 0,89, a kontrollcsoporté 0,77. Kihagyásnál ugyanez a sorrend, a választ kérők a feladatok 13 százalékát hagyták ki, a tippet kérők 5 százalékát.
A saját induló szintjükhöz mérve a közvetlen választ kérők 0,11-et romlottak, a tippet kérők 0,05-öt javultak. Ugyanabban a kísérletben, ugyanazzal a géppel, az egyik csoport gyengébb lett, a másik erősebb. A kárt a használat módja okozta, és nem a gép jelenléte a képernyő oldalán.
Maguk a szerzők jelzik, hogy ez a bontás önbevalláson alapul, és nem bizonyít okozati kapcsolatot. Lehet, hogy eleve a gyengébbek kértek kész választ, mert nekik volt rá nagyobb szükségük. A véletlen besorolásos rész, ahol az okozati irány tiszta, a másik két állítás, vagyis hogy az AI csoport többet hagyott ki és rosszabbul teljesített, amikor elvették tőle az asszisztenst. Én mégis ezt a bontást tartom a legtöbbet mondó résznek, mert a vállalati gyakorlatban a gép jelenlétét már nem lehet visszacsinálni, a használat módját viszont lehet alakítani.
A cégeknél
Hol mindegy, hogy bent marad a tudás, és hol nem
Az ügyfeleimnél az első kérdésem mostanában az, hogy egy adott feladatnál akar-e bárki jobb lenni. Ha a válasz nem, akkor a gép kész választ adhat, és a kompetencia elvesztése senkit nem érdekel.
Egy pécsi gépalkatrész kereskedőnél havonta nagyjából ezerkétszáz beszállítói számla és szállítólevél jön PDF-ben, és ezekből kell az adatokat a készletrendszerbe átvinni. Ezt a munkát korábban két ember végezte, és egyikük sem akart jobb lenni benne, sőt, az volt a cél, hogy a legkevesebbet kelljen rajta gondolkodni. Ide tartozik a formázás, a fordítás első változata, a jegyzőkönyv kivonata, az adatok átemelése táblázatból táblázatba. Ezeknél a kész válasz a helyes beállítás, az ember ellenőriz, és kész.
A másik körbe azok a feladatok tartoznak, ahol a képesség maga az érték. Ide sorolom az ügyféllel folytatott nehéz beszélgetés felépítését, az árazási döntést, a hibakeresést a saját rendszerünkben és a szerződés kockázati olvasatát. Ha ezeknél a gép kész választ ad, és az ember elfogadja, a cég megspórol egy órát, és közben elveszít egy képességet, amire a következő ügyfélnél megint szüksége lesz. Itt a gép tippet adjon, ellenőrző kérdést, ellenérvet, egy másik szempontot, és a döntést az ember hozza meg a saját fejével.
A kettő között a határ cégenként máshol van. Egy fordítóirodában a fordítás első változata a szakma lényege, egy gépkereskedőnél csak egy lépés a beszállítói levelezésben. Ezért nem lehet általános listát adni, a saját feladattípusokat kell végignézni, és mindegyiknél megválaszolni, hogy ott a bent maradó tudás ér-e valamit.
Egy ügyfélpélda
Egy nyolcvan fős könyvelőiroda juniorai
Egy nyolcvan fős budapesti könyvelőirodában tavaly vezettünk be egy asszisztenst, amit a cég saját tudásbázisával és a hatályos jogszabályokkal töltöttünk fel. A tizenkét junior könyvelő a bizonytalan áfa besorolásoknál és a vegyes tételeknél használta, és az első hat hét a vezetők szerint jól ment. Lerövidült a válaszidő, a juniorok elégedettek voltak, az ügyfelek gyorsabban kaptak visszajelzést.
A hetedik héten az egyik partner észrevett valamit a belső eszkalációs listán. Közülük a kérdéses tételek 31 százaléka ment tovább seniorhoz, miközben a bevezetés előtti félévben ez az arány 22 százalék körül mozgott. Vagyis a géppel a kezükben többet adtak fel, nem kevesebbet. Amikor leültünk a juniorokkal, kiderült, hogy a többség beírta a tételt, megkapta a besorolást, és ha a gép válasza bármiben bizonytalan volt, azonnal továbbküldte az ügyet. A saját fejben lévő keresés, a jogszabály elolvasása, a hasonló korábbi esetek előkerítése kimaradt, mert a gép három másodperce után a tízperces utánajárás pazarlásnak tűnt. Az iroda ugyanazt a jelenséget élte át, amit a kísérlet mért, csak itt a kihagyás gombot eszkalációnak hívták, és a seniorok túlórájában jelent meg.
Átírtuk az asszisztens szabályait. A junioroknak többé nem adott besorolást, csak a releváns jogszabályhelyet, két ellenőrző kérdést és egy hasonló korábbi esetet a cég archívumából. Seniorok esetében maradt a kész válasz, mert náluk a készség már megvolt, ott az idő volt a bottleneck. Két hónap alatt az eszkalációs arány visszament 24 százalékra, és a juniorok közül hárman a negyedéves belső vizsgán jobban teljesítettek, mint a bevezetés előtt. Az iroda ugyanannyi licencet fizet, mint korábban, csak másképp használja.
Napi gyakorlat
Feladattípusonként dől el, kész választ kérünk vagy vázlatot
A gyakorlatban ez egy fél napos műhelymunkával indul, ahol a csapat végigmegy a saját feladattípusain, és mindegyikhez odaírja, hogy ott a gép kész választ adhat, vagy csak vázlatot és ellenőrző kérdéseket. Nem kell hozzá bonyolult szabályzat, egy egyoldalas táblázat elég, ami kint van a közös meghajtón, és amit negyedévente újra átnéznek. A lényeg, hogy a döntés kimondva legyen, mert ha nincs kimondva, mindenki a kész választ kéri, ahogy a kísérletben is a résztvevők 61 százaléka tette.
Juniorok esetében ez a döntés súlyosabb. Náluk a készség még épül, és ami egy tízéves tapasztalatú kollégánál időspórolás, az náluk kimaradó tanulás. Egy senior jogász a szerződés kockázati olvasatát rábízhatja a gépre, mert ránézésre látja, ha a gép tévedett. A második éves gyakornok nem látja, és ha mindig kész választ kap, három év után sem fogja látni, mert sosem volt alkalma kiépíteni azt az érzéket, amivel a hibát észrevenné. Az ügyfeleimnél ezért a junior és a senior sokszor ugyanazt az eszközt más beállítással kapja, és ezt a különbséget nyíltan megbeszéljük velük, hogy ne büntetésnek érezzék.
Közben a vezetőnek egy olyan mérőszámot is figyelnie kell, amit korábban nem nézett, vagyis hogy a nehéz feladatoknál nő-e a feladás aránya. Ez megjelenhet az eszkalációs listán, a seniorokhoz átdobott ügyek számában, a „ezt nem tudom megcsinálni“ típusú visszajelzésekben, vagy abban, hogy a csapat a bonyolult ügyfélpanaszokat egyre hamarabb adja át feljebb. A kísérletben a kihagyás gomb volt a jelzés, a cégeknél ugyanez a gomb szétszórva létezik, csak nem így hívják. Ha ez a szám egy AI bevezetés után felfelé indul, akkor a felszabadult órák egy részét a cég a saját kompetenciájából fizette ki.
Korlátok és állítás
Amit a kísérlet nem mér, és amit én látok
A tanulmány korlátait a szerzők maguk sorolják. Tizenöt perces online feladatokról van szó, iskolás jellegű problémákról, és azt, hogy a hatás meddig tart, ez a kísérlet nem méri. Lehet, hogy egy nap múlva a résztvevők kitartása visszaállt. Egy könyvelőiroda vagy egy gépkereskedés munkája pedig nem törtszámolás és nem szövegértési teszt, a feladatok ott hetekig tartanak, és sokszor nincs is egyértelmű jó válasz.
A szerzők javaslata a modellfejlesztőknek szól, szerintük az asszisztenseknek a hosszú távú kompetenciát is támogatniuk kellene, nem csak az azonnali feladatmegoldást. Ez jó irány, de egy magyar középvállalat vezetője nem fog megvárni, amíg a nagy laborok átállítják a modelljeiket. Az eszköz ott van a csapat gépén, és holnap is ott lesz.
Amit én a projektekben látok, az ennél földhözragadtabb. Az AI bevezetés sikerét a legtöbb cég azon méri, hány óra szabadult fel. Ez a szám mindig szép, mert a gép mindig gyors. A kitartás, amit közben a csapat elveszít, viszont nem jelenik meg egyetlen riportban sem, és először akkor látszik, amikor a gép nem elérhető, vagy amikor olyan ügy jön, amire nincs kész válasz. Egy cég kompetenciája azoknak a feladatoknak a halmaza, amiket az emberei gép nélkül is megoldanának. Aki ezt a halmazt tudatosan választja meg, az a géppel erősebb lesz, aki pedig hagyja, hogy a kényelem válassza meg helyette, az tíz perc alatt kezd gyengülni, és egy év alatt veszi észre.