Statisztika és a gépi tanulás kapcsolata

Mintából a világ egészére

A statisztika alapkérdése így szól. Van egy mintám, tehát néhány megfigyelésem, és ebből mit mondhatok az egészről, amit nem láttam. A gépi tanulás pontosan ugyanezt teszi. A tanító adat egy minta, a modell pedig azt tanulja meg belőle, hogyan viselkedjen olyan új eseteken, amiket még sosem látott. A tanító adaton elért pontosság önmagában nem érdekes. Ami számít, hogy a modell mennyire teljesít az ismeretlen adaton. Ezt hívjuk általánosításnak vagy generalizációnak. Az egész gépi tanulás igazi tétje ez az egyetlen kérdés.

A híd, a legkisebb négyzetek módszere

A legegyszerűbb és legszemléletesebb kapcsolat a statisztika és a gépi tanulás között a lineáris regresszió. A feladat az, hogy pontokra egyenest illesszünk úgy, hogy az a lehető legjobban kövesse a trendet. A klasszikus megoldás a legkisebb négyzetek módszere (least squares), amelyet a CS229 is tárgyal. Az egyenes hibáját úgy mérjük, hogy minden pontnál vesszük a függőleges eltérést az egyenestől, ezt négyzetre emeljük, és az összes ilyen négyzetes eltérést összeadjuk. A legjobb egyenes az, amelyik ezt az összeget a legkisebbre nyomja. Vegyük észre, hogy ez pontosan egy veszteségfüggvény, amit minimalizálni akarunk, éppúgy, ahogy az ötödik leckében a gradiens ereszkedésnél láttuk.

Túltanulás és alultanulás

Itt jön a gépi tanulás legfontosabb gyakorlati veszélye. Ha a modell túl egyszerű, nem tudja megragadni az adat valódi mintázatát, és már a tanító adaton is gyengén teljesít. Ezt hívjuk alultanulásnak (underfitting). Ha viszont a modell túl bonyolult, akkor a tanító adatot kívülről megtanulja, még a véletlen zajt is, de az új adaton rosszul teljesít, mert nem a lényeget, hanem a részleteket jegyezte meg. Ezt hívjuk túltanulásnak (overfitting). A cél a kettő között van, ahol a modell elég erős a mintázat megfogásához, de elég visszafogott ahhoz, hogy ne a zajt tanulja. Ezt a mérlegelést nevezik torzítás és szórás közötti egyensúlynak (bias-variance tradeoff).

A tanító és a teszt adat

Honnan tudjuk, hogy a modell általánosít, nem pedig magol. A statisztika bevált eszközével, az adat szétválasztásával. A rendelkezésre álló adatot legalább két részre osztjuk. A tanító adaton (training set) állítjuk be a modellt, a teszt adaton (test set) pedig, amit a modell tanulás közben sosem látott, megmérjük a valódi teljesítményt. Ha a modell a tanító adaton jó, de a teszt adaton gyenge, az a túltanulás árulkodó jele. A lenti ábra ezt a klasszikus mintázatot mutatja. Ahogy a modell bonyolultabb lesz, a tanító hiba folyamatosan csökken, a teszt hiba viszont egy ponton túl újra emelkedni kezd.

Ahol a négy terület összeér

Ez a záró lecke jól mutatja, miért volt szükség mind a négy területre. Az adatot vektorok és mátrixok írják le, ez a lineáris algebra. A modellt egy veszteségfüggvény minimalizálásával állítjuk be, ehhez a derivált és a gradiens kell. A bizonytalanságot, a zajt és a modell magabiztosságát a valószínűség kezeli. Végül a mintából való megbízható általánosítást a statisztika biztosítja. A gépi tanulás nem egy ötödik, külön varázslat, hanem éppen ennek a négynek az összjátéka. Ha ezt látod, akkor a modern AI belső logikája nyitott könyv, és készen állsz a mélytanulás és az AI Engineer anyagokra.

A kurzus egy mondatban

Végigjártuk az AI-hoz szükséges matematikát. A vektor az adat és a jelentés formája, a mátrix és a mátrixszorzás a modell művelete, a lineáris transzformáció ennek a geometriai jelentése. A derivált és a gradiens a tanulás motorja, a láncszabály és a visszaterjesztés pedig az, ami ezt egy mély hálóban is kivitelezhetővé teszi. A valószínűség a bizonytalanság nyelve, a statisztika pedig a mintából való általánosításé. Ez a hat lépés együtt az a matematikai alap, amire a modern AI épül. Innen érdemes tovább lépni a Bevezetés a mélytanulásba és később az AI Engineer kurzusra.

Forrás

A tananyag a MIT 18.06 Linear Algebra kurzus (Gilbert Strang) és a Stanford CS229 lineáris algebra és valószínűség jegyzetei alapján készült, magyar feldolgozásban. A geometriai szemlélet fogalmi kerete a 3Blue1Brown Essence of Linear Algebra sorozat gondolkodásmódját követi.