Ingyenes tananyag

Hogyan épül fel egy nyelvi modell

8 lecke arról, hogyan működik és épül fel egy nagy nyelvi modell a nulláról, érthetően. Végigvesszük a következő token jóslását, a tokenizációt, a beágyazásokat, a transzformer architektúrát és a figyelmet, az előtanítást, a skálázási törvényeket, a finomhangolást és a kiértékelést. A Stanford CS336 és CS224n kurzusok anyagai alapján. Matematikai előképzettség hasznos, de nem feltétlenül szükséges.

KD AI Academy · Kalmár Dániel

01Mi a nyelvi modell és a következő token jóslása 02Tokenizáció, a szövegből token 03Beágyazások és a jelentés tere 04A transzformer architektúra és a figyelem 05Előtanítás és a tanítóadat 06Skálázás és a méret törvényei 07Finomhangolás és igazítás 08Kiértékelés, korlátok és hallucináció

Ha végigért

Záróteszt és tanúsítvány

10 feleletválasztós kérdés, 15 perc. Ha sikeresen teljesíted, a tanúsítvány automatikusan, egyedi sorszámmal kiállításra kerül.

Záróteszt kitöltése

Forrás

A Stanford CS336 Language Modeling from Scratch és a Stanford CS224n Natural Language Processing with Deep Learning kurzusok nyilvános anyagai alapján, magyar feldolgozásban.