Valószínűség alapok, eloszlás, várható érték, szórás

Valószínűség és valószínűségi változó

Kezdjük a legalapvetőbbel. A kísérlet minden lehetséges kimenetének halmaza az eseménytér, a CS229 jelölésével a mintatér. Egy esemény ennek egy részhalmaza, például dobókockánál a páros szám dobása. A valószínűség egy szám nulla és egy között, ami megmondja, mennyire várható egy esemény. Három alapszabály köti. Egyik valószínűség sem negatív, a biztos esemény valószínűsége egy, és egymást kizáró események közül az egyik vagy a másik bekövetkeztének valószínűsége a kettő összege.

A valószínűségi változó (random variable) egy függvény, ami minden kimenethez egy számot rendel. A CS229 jelölésével X egy leképezés a mintatérből a valós számokba. Például tíz pénzérme feldobásánál a fejek száma egy valószínűségi változó, ami 0 és 10 közötti egész lehet. A valószínűségi változó teszi lehetővé, hogy a véletlent számokkal kezeljük.

Az eloszlás

Az eloszlás (distribution) megmondja, melyik értéket milyen valószínűséggel veszi fel egy valószínűségi változó. Két esetet különböztetünk meg. Ha a változó csak elkülönülő értékeket vehet fel, mint a kockadobás, akkor diszkrét, és a valószínűségeket a valószínűségi tömegfüggvény (probability mass function) adja meg. Erre igaz, hogy minden érték valószínűsége nulla és egy között van, és az összes valószínűség összege pontosan egy. Ha a változó folytonos, mint egy testmagasság, akkor a sűrűségfüggvény (probability density function) írja le, amelynek a görbe alatti teljes területe egy. Az eloszlás tehát mindig egyet oszt szét a lehetséges kimenetek között.

A várható érték

A várható érték (expected value) az eloszlás középpontja, egyfajta súlyozott átlag. A CS229 jegyzet szerint diszkrét esetben a várható értéket úgy kapjuk, hogy minden lehetséges értéket megszorzunk a saját valószínűségével, majd ezeket összeadjuk. Folytonos esetben ugyanez integrállal történik. Szemléletesen a várható érték az a pont, ahol az eloszlás egyensúlyban lenne, ha mérleget tennénk alá. Egy szabályos kocka várható értéke 3,5, mert az egytől hatig terjedő értékek egyenlő súllyal átlagolva ennyit adnak. Fontos, hogy a várható érték nem feltétlenül egy ténylegesen felvehető érték, hanem a hosszú távú átlagot fejezi ki.

A várható értéknek van egy nagyon hasznos tulajdonsága, a linearitás. Két valószínűségi változó összegének várható értéke a várható értékeik összege. Ez a szabály a gépi tanulásban gyakran egyszerűsíti a számításokat, mert bonyolult kifejezéseket bont fel kezelhető részekre.

A szórás és a variancia

A várható érték megmondja a középpontot, de nem árulja el, mennyire szóródnak az értékek körülötte. Erre való a variancia (variance) és a szórás (standard deviation). A CS229 jegyzet szerint a variancia annak a mértéke, mennyire koncentrálódik az eloszlás a középérték körül. Definíció szerint a variancia a középértéktől való eltérés négyzetének várható értéke. Ebből levezethető egy gyakran használt alak is, amely szerint a variancia egyenlő a négyzet várható értéke mínusz a várható érték négyzete. A szórás egyszerűen a variancia négyzetgyöke, és azért kényelmes, mert ugyanabban a mértékegységben van, mint maga a változó.

Kis szórás azt jelenti, hogy az értékek szorosan a középérték köré tömörülnek. Nagy szórás azt, hogy szélesen szétterülnek. Az AI-ban ez fontos, mert egy modell magabiztosságát gyakran a kimeneti eloszlás szórása fejezi ki. A keskeny eloszlás magabiztos, a széles bizonytalan előrejelzést jelent.

A normális eloszlás

A legfontosabb folytonos eloszlás a normális, más néven Gauss eloszlás. A haranggörbe alakja mindenki számára ismerős. A CS229 jegyzet szerint a normális eloszlás sűrűségfüggvényét két szám határozza meg, a mű, ami a várható érték, tehát a csúcs helye, és a szigma, ami a szórás, tehát a görbe szélessége. A képletben egy exponenciális tag áll, amely a középértéktől távolodva gyorsan lecseng, ezért lesz a görbe a közepén magas és a szélek felé alacsony.

A normális eloszlás azért kap ekkora szerepet, mert sok természetes jelenség és sok mérési hiba közelítőleg így viselkedik. A gépi tanulásban gyakran feltételezzük, hogy a zaj vagy a hiba normális eloszlású, és a modellek kiindulási súlyait is sokszor egy normális eloszlásból húzzuk. A lenti ábra megmutatja, mit jelent a keskeny és a széles görbe, tehát a kis és a nagy szórás.