Ingyenes tananyag

Nyelvi modell nulláról

Aki egyszer megépítette kicsiben, az másképp használja nagyban. Nyolc lecke Andrej Karpathy nulláról építő sorozatának vezetett, magyar útiterveként, a kézzel írt visszaterjesztéstől a figyelem mechanizmuson át a tokenizálásig.

KD AI Academy · Kalmár Dániel


Kinek szól

Fejlesztőknek és technikai érdeklődőknek, akik nem használni, hanem érteni akarják a nyelvi modelleket. Python alapok és fogalmi szintű deriválás kell hozzá, GPU nem.

A tananyag Andrej Karpathy ingyenes videósorozatának magyar nyelvű, vezetett útiterve. A kód a videókban és a hozzájuk tartozó jegyzetfüzetekben él, a leckék a fogalmi vázat, a magyar magyarázatot és a gyakorlati tanulságokat adják.


01Miért érdemes megépíteni 02A visszaterjesztés kézzel 03Az első nyelvi modell, a bigram 04Többrétegű háló és a kontextusablak 05A tanítás finomságai 06A figyelem és a kicsi GPT 07A tokenizálás, a modellek mostohagyereke 08Innen tovább, a kicsitől az élesig

Ha végigért

Záróteszt és tanúsítvány

10 feleletválasztós kérdés, 15 perc. Ha sikeresen teljesíted, a tanúsítvány automatikusan, egyedi sorszámmal kiállításra kerül.

Záróteszt kitöltése

Kapcsolódó tananyagok

A kód nélküli fogalmi párhoz a Hogyan épül fel egy nyelvi modell és a Transzformerek. A folytatáshoz a Modell finomhangolás, a matematikai alapokhoz a Matematikai alapok az AI-hoz.