Osztályozás valószínűséggel
A lineáris regresszió folytonos számot ad, például egy árat vagy egy hőmérsékletet. Sok feladat viszont nem szám, hanem kategória. Levélszemét egy email vagy sem, esni fog ma vagy nem. Ez az osztályozás (classification). A logisztikus regresszió (logistic regression) úgy közelít ehhez, hogy nem magát a kategóriát, hanem egy valószínűséget jósol, egy 0 és 1 közötti számot, amely megmutatja, mennyire valószínű az adott kimenet. A név megtévesztő lehet, mert a regresszió szó ellenére a logisztikus regressziót elsősorban osztályozásra használjuk.
A szigmoid függvény
A modell először a jellemzőkből egy lineáris pontszámot számol, ugyanúgy, mint a lineáris regresszió. Ez a pontszám azonban bármekkora lehet, akár nagy negatív, akár nagy pozitív. Ahhoz, hogy valószínűséget kapjunk, ezt a pontszámot 0 és 1 közé kell szorítani. Ezt végzi el a szigmoid függvény (sigmoid function), más néven logisztikus függvény. Ez egy S alakú görbe, amely minden bemeneti értéket a 0 és 1 közötti sávba képez le. A nagy negatív pontszámok 0 közelébe, a nagy pozitívak 1 közelébe, a nulla körüli pontszámok pedig 0,5 köré kerülnek.
A döntési küszöb
A szigmoid egy valószínűséget ad, de a végén gyakran egyértelmű döntést kell hozni, igen vagy nem. Ehhez döntési küszöböt (classification threshold) állítunk be. Ha a becsült valószínűség a küszöb fölött van, a példát az egyik osztályba soroljuk, ha alatta, a másikba. Alapesetben a küszöb 0,5, de ezt a feladat igényeihez lehet igazítani. Ha egy hiba súlyosabb, mint a másik, a küszöb eltolható. A teljes folyamat négy lépésre bontható, a jellemzőktől a végső osztályig.
- Lineáris pontszámA modell a jellemzőkből súlyokkal és torzítással egy pontszámot számol, akárcsak a lineáris regresszió.
- SzigmoidA szigmoid függvény a pontszámot 0 és 1 közötti valószínűséggé alakítja.
- ValószínűségA kimenet egy valószínűség, például 0,82, ami azt mondja, mennyire valószínű a pozitív osztály.
- Küszöb és osztályA döntési küszöbhöz hasonlítva a valószínűséget megszületik a végső osztály, igen vagy nem.
A log-veszteség
A logisztikus regresszió nem a négyzetes veszteséget használja, hanem a log-veszteséget (log loss), amelyet kereszt-entrópiának (cross-entropy) is neveznek. Ez a veszteség kifejezetten valószínűségi becslésekhez való. Erősen bünteti, ha a modell nagy magabiztossággal téved, például ha 0,99 valószínűséget ad egy olyan esetre, amely valójában a másik osztályba tartozik. Így a tanítás arra ösztönzi a modellt, hogy ne csak a helyes oldalra tegye a becslést, hanem a valószínűséget is jól kalibrálja. A logisztikus regressziónál a regularizáció különösen fontos, mert segít elkerülni a túltanulást, erről a hetedik leckében lesz szó.
Lineáris regresszió
- Folytonos számot jósol
- Kimenete bármekkora lehet
- Négyzetes veszteséget használ
- Például ár vagy hőmérséklet
Logisztikus regresszió
- Valószínűséget jósol 0 és 1 között
- Szigmoid szorítja a kimenetet
- Log-veszteséget használ
- Például levélszemét vagy sem
A küszöb dönti el az osztályt. A modell egy valószínűséget ad, a döntési küszöb pedig azt szabja meg, milyen érték felett soroljuk a példát a pozitív osztályba. A küszöb eltolásával a modell óvatosabbá vagy megengedőbbé tehető.
Workshop
AI Transformation Day
Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.
Érdekel a program →