Ingyenes tananyag

Transzformerek és a figyelem mechanizmus

8 lecke arról, hogyan működik a transzformer architektúra, amely a mai nyelvi modellek alapja. Végigvesszük, miért váltotta le a korábbi visszacsatolt hálókat, hogyan lesz a szövegből szám, és mi a figyelem mechanizmus valódi ötlete a query, key és value hármassal. Az Attention Is All You Need tanulmány és a Stanford CS224n anyagai alapján. Matematikai előképzettség hasznos, de nem feltétlenül szükséges.

KD AI Academy · Kalmár Dániel

01Miért váltotta le a transzformer az RNN-t 02Bemenet, tokenek és beágyazások 03A figyelem alapötlete (query, key, value) 04Az önfigyelem lépésről lépésre 05A többfejű figyelem (multi-head attention) 06Pozíciókódolás és maradékkapcsolatok 07Az enkóder-dekóder architektúra 08Miért skálázódik, és mi lett belőle

Ha végigért

Záróteszt és tanúsítvány

10 feleletválasztós kérdés, 15 perc. Ha sikeresen teljesíted, a tanúsítvány automatikusan, egyedi sorszámmal kiállításra kerül.

Záróteszt kitöltése

Forrás

Az Attention Is All You Need tanulmány (Vaswani és társai, 2017) és a Stanford CS224n kurzus anyagai alapján, magyar feldolgozásban.