Amit a kísérlet mutatott
Hatvan perc helyett negyvenkilenc
Greg Kestin és kutatótársai a Harvardon egy bevezető fizika kurzus hallgatóit osztották két csoportra. Az egyik fele a megszokott tantermi formában haladt, ahol az oktató aktív, bevonós módszerrel dolgozik, tehát nem a leggyengébb összehasonlítási alap állt a géppel szemben. A másik fele otthon ment végig ugyanazon az anyagon, egy erre a célra felépített AI tutorral. Randomizált kísérletről van szó 194 hallgatóval, és az eredménye a Scientific Reports hasábjain jelent meg.
A géppel tanuló csoport tudásgyarapodása több mint kétszerese lett a tantermi csoporténak. Közben kevesebb időt is töltöttek vele. A teremben hatvan perc ment el az anyagra, az AI tutorral dolgozók hetven százaléka ennél kevesebbet ült rajta, és a medián negyvenkilenc perc lett. Ráadásul a kérdőívek magasabb motivációt és nagyobb bevonódást mutattak annál a csoportnál, amelyik egyedül ült a képernyő előtt.
Ezt a számot sokan úgy olvassák, hogy az egyetemnek vége. Én mást látok benne. Egy jól felépített tanulási helyzet, ahol a tempó a tanulóhoz igazodik és a visszajelzés azonnal megérkezik, erősebbnek bizonyult, mint egy jó tanár harminc emberrel egy teremben. Ez az oktatóról semmit nem mond, a helyzetről annál többet.
Ami a szám mögött van
Miért működött ez a tutor
A kutatók külön kiemelték, hogy a hallgatók nem egy üres chatablakot kaptak. Kidolgozott mintamegoldások álltak a rendszer mögött, szigorúan megírt utasításkészlet, és olyan korlátok, amelyek megakadályozták, hogy a modell kitaláljon dolgokat. A tutor nem oldotta meg a feladatot a hallgató helyett, hanem addig kérdezett vissza, amíg a hallgató maga jutott el a megoldásig.
Ugyanezt látom a saját képzéseimen. Egy modell attól lesz jó tanár, hogy tudja, hol tart a másik, és nem megy tovább, amíg ez nem tisztázódott. Üres chatablakban ez magától nem történik meg. Ott a gép udvariasan elmondja a tananyagot, a tanuló bólint, és másnapra alig marad meg belőle valami.
A különbség abban van, amit a géptől kérünk. Ha valaki arra kéri a modellt, hogy magyarázza el a témát, akkor előadást kap, és az előadás a leggyengébb tanulási forma, amit ismerek. Amikor viszont arra kéri, hogy kérdezze ki, javítsa a hibáit, és menjen vissza oda, ahol elakadt, akkor a gép abba a szerepbe kerül, amiben a Harvard kísérletében is volt.
Ezt a helyzetet el kell választani a keresgéléstől. Kereséskor a felhasználó begépel egy kérdést, elolvassa a választ, és továbbmegy. Tanuláskor a válasz csak a kiindulópont, utána jön a visszakérdezés, a tévedés és a javítás. A kísérlet tutora ezt a második mintát kényszerítette ki a hallgatókból, és ez jelent meg a záró mérésben.
A valódi akadály
A legtöbben el sem indulnak
Egy nyolcvan fős győri gépipari beszállítónál tavaly ősszel tartottam kétnapos képzést. A második nap végén megkérdeztem, ki az, aki a hétvégén otthon is kipróbálja, amit tanultunk. Négyen jelentkeztek a huszonháromból. Amikor rákérdeztem a többiekre, kiderült, hogy nem az eszközzel volt bajuk. Egyikük azt mondta, nem tudja, mit kérdezzen, és tart tőle, hogy kiderül, mennyi mindent nem tud.
Ezt azóta szinte minden cégnél visszahallom valamilyen formában. A félelem nem a technológiának szól. Annak szól, hogy a kérdezés lelepleződéssel jár, és húsz év munkatapasztalattal a hátuk mögött a legtöbben nem akarnak kezdőnek látszani, még egy gép előtt sem.
Egy budapesti biztosítónál a kárrendezési csoport vezetője fogalmazta meg ezt a legvilágosabban. Azt mondta, a kollégái attól tartanak, hogy a cég méri, ki milyen kérdéseket tesz fel, és a gyengébb kérdés bekerül valahová. Nem kértem tőle, hogy cáfolja meg ezt a feltételezést, inkább megbeszéltük, hogy a képzés ideje alatt senki nem nézi a naplókat, és ezt ki is hirdette a csapatnak. A következő körben a csoport háromnegyede dolgozott magától.
Ennek a tartózkodásnak komoly ára van, csak sehol nem jelenik meg tételként. Ahol a kollégák fele el sem indul, ott a bevezetés költsége ugyanúgy megvan, a haszon viszont a létszám felén képződik. A vezetés ilyenkor a licenckihasználtságot nézi, gyenge számokat lát, és további eszközt vagy újabb képzést rendel. Az akadály közben nem az eszköznél volt, hanem annál az első mozdulatnál, amit senki nem segített meg.
Amit a félelem takar
A kérdés, amit a kollégák előtt senki nem tesz fel
A tanteremben a kérdésnek ára van. Aki megkérdezi, mi az a token, az a többiek előtt vállalja, hogy nem tudja. A gép előtt ez az ár eltűnik, és éppen ez a legnagyobb előnye a tanulásban. Nincs közönség, nincs türelmetlen szomszéd, nincs becsengetés.
A szokás viszont marad. Akik évekig úgy tanultak, hogy a kérdés kockázat, azok a képernyő előtt is óvatosan fogalmaznak. Olyat írnak be, amire már tudják a választ, mert így nem derül ki semmi. Ebből a körből tanulás nem lesz, csak megerősítés.
A képzéseim első órája ezért nem a promptokról szól, hanem erről. Megkérem a résztvevőket, hogy írják le a legbutábbnak érzett kérdésüket, és azzal induljanak. A terem ilyenkor megkönnyebbül, mert kiderül, hogy a többiek nagyjából ugyanott tartanak, és onnantól gyorsan megy a munka.
Ahogy tanítom
Hogyan lehet egy modelltől tanulni
A tanulás ott kezdődik, hogy a tanuló megmondja a gépnek, hol tart. Egyetlen mondat arról, mit csinál napi szinten, mihez ért, és mit akar most megérteni. Enélkül a modell egy átlagos felhasználónak beszél, átlagos felhasználó pedig nem létezik.
Ezután fordul meg a szerep. A modellt arra kérjük, hogy ő kérdezzen, és javítsa a válaszokat ott, ahol hibásak. Ez szokta a legnagyobb meglepetést okozni, mert addig mindenki úgy gondolja, hogy a gép dolga a válaszadás. A Harvard kísérletében is a kérdező tutor hozta az eredményt, nem a magyarázó.
Ezután következik a saját anyag. Egy valódi ajánlat, egy valódi riport vagy egy valódi ügyfélpanasz többet tanít bármelyik tankönyvi példánál, mert a tanuló látja, hol tér el a gép megoldása a sajátjától. A győri cégnél a művezetők a saját műszakjelentéseikkel dolgoztak, és a második héten már egymásnak magyarázták a különbségeket.
Ez a kör akkor zárul, amikor a tanuló a saját szavaival mondja vissza, amit megértett, és megkéri a modellt, hogy keresse meg benne a hibát. Itt válik el a jóleső érzés a valódi tudástól, és a legtöbben éppen ezt a lépést hagyják ki.
A tempóról is szólni szoktam, mert a beosztás rendszerint elromlik. Egy hosszú, kétórás nekifutás kevesebbet ad, mint heti három rövid alkalom, amiből mindegyik egyetlen konkrét kérdés köré épül. A Harvard kísérletében is ötven perc körül mozgott a munka, és ennyi idő egy felnőtt embernek a saját munkanapja mellett is kigazdálkodható. Aki napi tíz percet szán rá, az egy hónap alatt messzebb jut annál, aki egyetlen szombatot áldoz az egészre.
Ahol ez elromlik
Amikor a modell csak egyetért
A géppel tanulás legnagyobb kockázata a kedvesség. A modell egyetért, megdicséri a gondolatmenetet, és a tanuló úgy áll fel az asztaltól, hogy érti a témát. Két héttel később derül ki, hogy a megértés a beszélgetés hangulatából jött, nem az anyagból.
Egy pénzügyi szolgáltatónál láttam ezt a legélesebben. A csapat három hónapig tanult így, és a záró felmérésen jóval gyengébben teljesített, mint amire a saját bevallásuk alapján számítottam. Amikor átnéztük a beszélgetéseiket, egyetlen olyan sem akadt köztük, amelyikben valaki ellentmondást kért volna a géptől.
Azóta minden képzésen beépítek egy kört, ahol a résztvevő arra kéri a modellt, hogy keresse meg a saját állításában a leggyengébb pontot, és hozzon rá ellenpéldát. Kellemetlen gyakorlat, és éppen ezért hasznos. A kritikus gondolkodás a géppel szemben kell, nem helyette.
Amit a cégek elrontanak
A képzés, ami nem a tananyaggal kezdődik
A legtöbb vállalati AI képzés tananyaggal indul, és az első órában már eszközt mutat. Én fordítva építem fel. A tananyag elé kerül egy rövid szakasz arról, hogyan lehet egy modelltől tanulni, mert aki ezt megkapja, az a képzés után is halad tovább. Aki nem kapja meg, az a képzés utolsó napján megáll.
Egy háromszáz fős kereskedelmi cégnél ezt számokban is láttuk. Két csoport ugyanazt a tananyagot kapta, az egyik kilencven perccel korábban kezdett, és ez a kilencven perc kizárólag a tanulási módszerről szólt. Három hónappal később ebben a csoportban kétszer annyian használták hetente a rendszert, a belső támogatási kérdések száma pedig a felére esett.
Ez a kilencven perc a legolcsóbb tétel az egész bevezetésben, és rendre ez marad ki. A cégek eszközt vesznek, licencet osztanak, aztán csodálkoznak, hogy a kollégák egy hónap múlva visszatérnek a régi munkamódszerhez. Egy licenc önmagában nem tanít meg kérdezni.
Ami ebből következik
Aki elindul, hamar beéri a többieket
A Harvard kísérletéből az tetszik a legjobban, hogy a géppel tanulók nemcsak többet fejlődtek, hanem motiváltabbak is lettek. Ez a kettő együtt mozog. Aki érzi, hogy halad, az legközelebb is leül.
A magyar cégeknél ma az látszik, hogy a különbség nem a tehetségben van, hanem abban, ki tette fel az első kérdését. Aki fél éve elkezdte, az ma olyan feladatokat old meg húsz perc alatt, amire a kollégája egy napot szán, és a különbség azóta is nő közöttük.
Ezért tanítom a tanulás módszerét magát, mielőtt bármelyik eszközhöz hozzányúlnánk. A gép türelmes, nem fárad el, és nem emlékszik arra, hogy valaki tavaly mit nem tudott. Ennél jobb tanulási helyzetet nehéz összehozni, a belépő pedig mindössze egyetlen kérdés.