A megértés legrövidebb útja
A nyelvi modellekről lehet olvasni, és lehet őket megépíteni. A kettő nem ugyanaz a tudás. Aki egyszer végigírta a visszaterjesztést, látta a veszteséget csökkenni, és megnézte, mit tanul meg egy pici modell, az élesben is másképp gondolkodik. Tudja, mitől instabil a tanítás, miért számít a tokenizálás, és mit jelent valójában a kontextusablak.
Ez a tananyag Andrej Karpathy legendás sorozatának vezetett, magyar nyelvű útiterve. Karpathy az egyik legjobb élő magyarázó a területen, és a sorozat különlegessége, hogy semmi nincs elkenve, minden sor kód a képernyőn születik. A leckéim a fogalmi vázat és a magyar nyelvű magyarázatot adják, a kód maga a videókban és a hozzájuk tartozó jegyzetfüzetekben él.
Mi kell hozzá
Python alapok és középiskolás matematika, deriválás fogalmi szinten. GPU nem kell, minden példa lefut egy átlagos gépen vagy ingyenes felhős jegyzetfüzetben. Ami tényleg kell, az idő, a sorozat érdemi végigdolgozása több hét esti munkája. Cserébe ez a legjobb ár-érték arányú mélytechnikai tanulás, ami ma magyarul is elérhető, ezzel a vezetővel.
A tananyagot kétféleképp lehet használni. Végigdolgozva, kóddal, ez adja a teljes értéket. Vagy csak a leckéket elolvasva, fogalmi térképként, ami önmagában is rendbe teszi, mi történik egy nyelvi modell belsejében.
Források és további olvasnivaló
A tananyag Andrej Karpathy ingyenes Neural Networks: Zero to Hero videósorozatát követi, amelyben minden sor kód a szemünk előtt születik meg. A fogalmi oldal párja a Hogyan épül fel egy nyelvi modell tananyag, amely kód nélkül jár be hasonló utat.