Kísérlet
Mit mér egy teszt, ha gép tölti ki
Október 29-én este elindítottam két online kurzust, és egy ügynökre bíztam őket. Az ügynök a Claude Code volt, a saját gépemen futott, a saját böngészőmmel és a saját fiókjaimmal dolgozott. Nem demó környezetben, nem egy erre előkészített tesztoldalon, hanem ugyanott, ahol napközben én is dolgozom. Arra voltam kíváncsi, meddig jut el rajtuk egyetlen éjszaka alatt.
A modell képességeiről nem akartam újat mondani, arról elég mérés születik mások tollából. Engem az érdekelt, mit mér egy teszt, ha a kitöltő gép. Egy kurzus záróvizsgája, egy beadandó projekt gépi ellenőrzése, egy modulzáró kvíz mind arra épül, hogy aki kitölti, az ember, és a jó válasz az ő tudását mutatja. Ha ez a feltevés megdől, akkor az eredmény másról kezd beszélni, mint amire a tesztet tervezték.
Két kurzust választottam, szándékosan eltérő típusút. Az egyik a Harvard CS50 AI kurzusa, ahol beadandó Python projekteket pontoz egy gépi ellenőrző. A másik a Columbia Engineering AI kiberbiztonsági és governance kurzusa, ahol diasorok, videók és feleletválasztós kvízek viszik végig a hallgatót. Az első a megírt megoldást méri, a második a megértést kérdezi vissza. Az ügynök mindkettőn végigment, a két eredményt viszont külön kell olvasni, mert más és más derül ki belőlük.
Harvard
Tizenkét projekt, 174 zöld ellenőrzés
A CS50's Introduction to Artificial Intelligence with Python hét hétre osztott kurzus, tizenkét beadandó projekttel. A témák a klasszikus AI tankönyv fejezetei. Keresés, logika, bizonytalanság, optimalizálás, tanulás, neurális hálók, nyelv. Minden projekthez kiinduló kód jár, abban kell megírni a hiányzó függvényeket, és a CS50 saját ellenőrzője, a check50 futtatja le rajtuk a teszteket.
Az ügynök letöltötte a kiinduló kódokat, és megírta mind a tizenkét projektet. A check50-et helyi módban futtatta, ami ugyanazokat az ellenőrzéseket végzi el, mint a CS50 szervere, csak a saját gépemen. Az eredmény 174 ellenőrzésből 174 zöld. Egy sem bukott.
A keresési és logikai feladatok rövidek, ott a gépi megoldás kevés kérdést vet fel. A nehezebbek közül a traffic feladat az egyik, ahol egy konvolúciós hálót kell tanítani közlekedési táblák felismerésére. Az ügynök nem egy változatot írt, hanem négyet, és mind a négyet azonos adatbontáson futtatta végig, hogy az eredmények összevethetők legyenek. A legjobb változat 0,9847 pontosságot ért el a teszthalmazon, 26 640 közlekedési tábla képén. A dropout nélküli változat 0,9792-t hozott, az egyetlen konvolúciós blokkal futó 0,9627-et, a konvolúció nélküli pedig 0,9025-öt. Ezt a sorrendet egy gépi látás órán a tanár is levezetné a táblánál, itt viszont az ügynök mérte ki magának, mielőtt választott.
Az attention feladatnál egy nyelvi modell figyelmi fejeit kell értelmezni, és be kell mutatni kettőt, amelyik nyelvtani viszonyt követ. A feladat megengedi, hogy a hallgató a diagramokat nézegetve válasszon. Az ügynök ehelyett írt egy szkriptet, ami minden fejre kiszámolta, mennyi figyelem jut a nyelvtanilag összetartozó szópárokra a véletlen alaphoz képest, és a legnagyobb eltérést mutató fejeket vette be a beadandóba. Mért ott, ahol a feladat ránézést is elfogadott volna.
Columbia
Előbb a tananyag, aztán a levél, utána a kvízek
A második kurzus a Columbia+ AI Cybersecurity & Governance, a Columbia Engineering kínálatából, Dr. Neil Daswani anyaga. Hét modul, heti két óra, diasorokkal, videókkal, modulzáró kvízekkel és fórumfeladatokkal.
Itt más sorrendet kértem. Az ügynök először feldolgozta a teljes tananyagot, a nyolc diasort és mind a 33 videó szöveges átiratát, nagyjából 38 ezer szót. Ebből modulonként magyar jegyzetet írt, ami azóta a saját tudásbázisomban van. Ez a lépés nekem szólt, a kurzusnak semmit nem jelentett.
Utána kiment a bejelentő levél a Columbiának arról, hogy a fiókon ügynök kísérlet zajlik. Az ügynök megírta, én küldtem el. A kvízek csak ezután jöttek, és ez a sorrend a kísérlet lényege. Ha a kvízek előbb készülnek el, és a levél utólag megy, akkor a bejelentés már mentegetőzés, nem bejelentés.
Hat modulzáró kvíz, mindegyik 10 pontból 10, összesen 60 a 60-ból, mindegyik elsőre, és egyikre sem kellett egy percnél több. A kérdések nem tényeket kértek vissza. Helyzetre kérdeztek, például arra, melyik incidenst előzte volna meg a kétfaktoros hitelesítés, vagy hogy egy rejtett utasítást tartalmazó weboldal esete közvetlen vagy közvetett prompt injekció. Ez a kérdéstípus az oktatói gyakorlatban a nehezebbek közé számít, mert alkalmazást mér, nem memóriát. Az ügynöknek a különbség nem látszott meg a pontszámán.
A hat fórum hozzászólás is kiment, angolul. A Canvas most 63 követelményből 63-at mutat teljesítettnek. A tanúsítvány húsz dollár, kártyás fizetéssel, ezt az ügynök nem vette meg.
Két eredmény
A jól specifikált feladat és a feleletválasztós kérdés
A CS50 azt mutatja, hogy a jól specifikált, gépi értékelésű feladat ma megoldható ügynökkel. Ha a feladatnak van pontos leírása, kiinduló kódja és egy ellenőrzője, ami igennel vagy nemmel válaszol, akkor az ügynök addig dolgozik, amíg az ellenőrző igent nem mond. A 174 zöld pipa ennek a huroknak az eredménye, nem egy szerencsés első próbának. Az ellenőrző itt nem a hallgató tudását méri, hanem azt, hogy a leadott kód megfelel-e a leírásnak. A kettőt eddig azért lehetett egynek venni, mert a kódot ember írta.
A Columbia azt mutatja, hogy a feleletválasztós tudásellenőrzés sem szűri ki az ügynököt. Erre jön a szokásos ellenvetés, hogy a feleletválasztós teszt eleve gyenge mérőeszköz, és a helyzetre kérdező, alkalmazást mérő kérdés már más. A hatvan pont erre felel. A kérdéstípus nem jelent védelmet, mert a nyelvi modell épp abban jó, hogy egy leírt helyzetet összevessen egy fogalmi kerettel. Hogy a weboldalba rejtett utasítás közvetett prompt injekció, azt a modell ugyanúgy tudja, ahogy a tananyag írója, és ugyanazokból a forrásokból.
A két eredményt összerakva egy dolog marad, amit a mai online kurzusok mérése nem tud. Nem tudja megmondani, ki ült a gép előtt. Minden más, a kód helyessége, a válasz helyessége, a határidő, a részvétel, továbbra is mérhető, csak már nem a hallgatóról szól.
Papír és tudás
A tanúsítvány és a tudás szétvált
Ebből nem az következik, hogy a két kurzus értéktelen. A CS50 AI anyaga a legjobban felépített bevezetések közé tartozik a klasszikus AI témákba, a Columbia kurzusa pedig rendezett, vezetőnek is olvasható képet ad arról, hol találkozik a kiberbiztonság az AI governance kérdéseivel. Mindkettőt tovább fogom ajánlani.
Ami szétvált, az a tanúsítvány és a tudás. Aki tanulni akar, annak ugyanúgy végig kell mennie az anyagon, mint eddig, mert a tanulás az ő fejében történik, és oda ügynök nem tud belépni. Aki papírt akar, az ma olcsóbban hozzájut, mint hét hét munkájával. Ez a papír értékét viszi el, a tanulásét nem érinti.
A munkaerőpiacon ez lassan fog átmenni, de át fog menni. Egy online tanúsítvány eddig azt jelezte, hogy a jelölt rászánt hét hetet és végigcsinálta. Mostantól azt jelzi, hogy vagy végigcsinálta, vagy futtatott egy ügynököt, és a papírról nem derül ki, melyik. Aki felvesz, annak máshonnan kell megtudnia, mit tud a jelölt, és ez a máshonnan a beszélgetés, a próbafeladat vagy a közös munka első hónapja lesz.
Vállalati olvasat
Amit a belső záróteszt mostantól nem mér
Vállalatoknál ez a kérdés hamarabb kerül elő, mint az egyetemi kurzusoknál, mert ott a teszt egy megfelelőségi lánc része. Egy több száz fős cégnél évente kötelező az adatvédelmi és információbiztonsági képzés. A munkatárs megnézi a húsz percnyi diát, utána otthonról, a saját gépén kitölt egy tíz kérdéses feleletválasztós tesztet, és hetven százalék fölött megkapja az igazolást. Az igazolás bekerül a HR rendszerbe, az auditor pedig a következő ellenőrzésen azt látja, hogy a dolgozók száz százaléka elvégezte a képzést.
Ez a teszt mostantól nulla információt ad arról, hogy a munkatárs tudja-e az anyagot. Ehhez nem kell rosszindulat. A böngészőben ott az asszisztens, egy percen belül kitölti, és a munkatárs ezt gyorsításnak éli meg, nem csalásnak. A HR rendszerben ugyanúgy zöld a sor, az auditor ugyanúgy pipál, csak a sor mögött már nincs ott az, amit a sornak jeleznie kellene.
Az első reflex ilyenkor az AI felismerő. Ezt nem javaslom, és nem elvi okból. A felismerők a szöveg stílusából tippelnek, egy feleletválasztós tesztnél viszont nincs szöveg, csak egy bejelölt válasz van, abból semmit nem lehet kiolvasni. A másik reflex a felügyelt vizsgaterem kamerával, ami egy évi kötelező képzésnél drágább, mint maga a képzés.
A mérést kell máshová tenni. Munka közbeni megfigyelés, amikor a vezető azt nézi, hogy a munkatárs a gyanús levelet jelenti vagy megnyitja. Valós feladaton mért eredmény, például egy belső adathalász szimuláció, ahol a viselkedést számolják, nem a kijelölt választ. Szóbeli védés egy tízperces beszélgetésben, ahol a munkatárs elmondja, mit tenne egy konkrét helyzetben, és a kérdező visszakérdez. Páros átnézés, ahol két kolléga egymás munkáját nézi át az adott szempont szerint. Mindegyik drágább, mint egy kvíz. Viszont mérnek valamit, a kvíz pedig már semmit.
Hitel
Miért nem az ügynök adja be a projekteket
A kísérletnek csak akkor van értéke, ha nem csalás. Ha az ügynök beadja a projekteket a nevemben, és a CS50 pontot ad rájuk, akkor egy olyan eredményt kapok, amiről nyilvánosan semmit nem mondhatok, mert a megszerzése szabályt sértett. Ezért ment ki a bejelentés a Columbiának a kvízek előtt, és ezért nem az ügynök adta be a CS50 projektjeit. A beadó parancs végén álló kérdésre ember válaszolt. A CS50 szerverén lefutó ellenőrzés ugyanazt adta, mint a sajátomon, 174 vizsgálatból 174 zöld.
A CS50 beadó parancsa az utolsó lépésben ezt kérdezi. „Keeping in mind the course's policy on academic honesty, including its restrictions on AI use, are you sure you want to submit these files?" A kurzus szabályzata tiltja a sajátján kívüli AI eszköz használatát, és a kérdés erre a szabályra utal. Aki itt igent nyom, az nyilatkozik.
Az ügynök ezt a nyilatkozatot nem tette meg helyettem. Megállt a kérdésnél, a beadás ezen a ponton áll, és a CS50-nek szóló bejelentő levél megírva vár arra, hogy elküldjem. A kísérlet eredménye ettől ugyanaz, 174 ellenőrzésből 174 zöld a saját gépemen, a hitele viszont megmarad, mert nincs benne olyan lépés, amit utólag magyarázni kellene.
Három dolog egyik helyen sem történt meg, és ezt szándékosan húztam meg határként. Az ügynök nem tette meg a nyilatkozatot a CS50-nél. Nem vásárolta meg a Columbia tanúsítványát, ami húsz dollár és kártyás fizetés. Nem küldte ki a bejelentő leveleket sem, azokat én küldöm, a saját nevemben.
Tanácsadói olvasat
Az ügynök a tanulás eszköze maradt
A két kurzus anyaga így is a saját munkámba került. A Columbia hét moduljából magyar jegyzet van, a CS50 tizenkét projektjének kódja a gépemen, a négy traffic hálóváltozat mérése egy táblázatban. Amikor egy ügyfélnél prompt injekcióról kell beszélnem, vagy arról, miért kell egy hálóba dropout, ezekből dolgozom. A feldolgozás valódi, az út pedig más volt, mint egy hallgatóé.
Az ügynök ebben a tanulás eszköze maradt, a papíré nem lett. Ez egyben az a határ, amit a saját munkámban is tartok. Egy ügyfélnél sem azt mutatom meg, hogyan lehet egy tesztet kijátszani, hanem azt, hogy mit jelent a mérés, ha a kitöltő gép, és hová kell áttenni. A kísérletet ezért is nyilvánosan írom le, a bejelentésekkel és a be nem adott projektekkel együtt.
A munka tehát az ügynöké, a beadás és a vele járó felelősség az enyém. Ez a kettő a kísérletben végig külön maradt.
A cikk 2026. október 30-i állapotot ír le. A Columbiának szóló bejelentés a kvízek kitöltése előtt ment ki. A tizenkét CS50 projekt be van adva, a CS50 szerverén is hibátlanul futott le rajtuk az ellenőrzés. A CS50-nek szóló levél elküldésre vár. A Columbia tanúsítványát a cikk írásakor nem vásároltam meg. Ha az intézmények válaszolnak, a cikket kiegészítem vele.