Diffúziós modellek és képgenerálás · Lecke 01

Mi a generatív modell és mit jelent az eloszlás tanulása

Mielőtt a diffúzió belső működéséhez érnénk, tisztázni kell, mit csinál egyáltalán egy generatív modell. A rövid válasz az, hogy megtanulja az adatok mögötti valószínűségi eloszlást, és abból új, korábban nem látott, mégis hihető mintát állít elő. Ebben a leckében megnézzük, mit jelent ez a gyakorlatban, és miben más, mint a szokásos osztályozó modellek.

Vissza a tananyaghoz

Két különböző kérdés

A gépi tanulásban két nagy modelltípust szokás megkülönböztetni, és a különbség éppen abban áll, hogy milyen kérdésre válaszolnak. A diszkriminatív modell (discriminative model) egy adott bemenethez címkét rendel. Kap egy fényképet, és megmondja, hogy kutya vagy macska van rajta. A generatív modell (generative model) ennél többet vállal. Nem címkézni akar, hanem megérteni, hogyan néznek ki egyáltalán a macskás fényképek, olyan mélyen, hogy utána maga is tudjon rajzolni egy újat. Ehhez az kell, hogy a modell megtanulja az adatokat leíró valószínűségi eloszlást (probability distribution), vagyis azt, hogy a lehetséges képek terében hol sűrűsödnek a valódi, hihető képek, és hol a zagyvaság.

DISZKRIMINATÍV Kép Címke macska bemenet alapján dönt GENERATÍV Eloszlás megtanulva Új kép mintavétel nem címkéz, hanem előállít
A diszkriminatív modell egy kész bemenethez ad címkét. A generatív modell megtanulja az adatok eloszlását, majd abból új mintát vesz, ami korábban nem létezett.

Az eloszlás mint sűrűségtérkép

Az eloszlás szó elsőre elvontnak hangzik, de van rá egy jó kép. Képzeljük el az összes lehetséges fényképet egy hatalmas térként. Ebben a térben a legtöbb pont értelmetlen pixelkása, és csak egy elenyésző rész néz ki valódi fényképnek. A valódi fényképek sem egyenletesen szórtak, hanem csomókban ülnek, a macskás képek egy tájékon, a tájképek egy másikon. Az eloszlás pontosan ezt a sűrűségtérképet írja le, azt, hogy hol nagy az esélye egy hihető képnek és hol nulla. Egy generatív modell tanítása azt jelenti, hogy a modell ezt a sűrűségtérképet próbálja rekonstruálni pusztán a tanítóképekből, anélkül hogy bárki megmondaná neki a szabályokat.

A tanítóadatok egyik csomó másik csomó A megtanult eloszlás nagy sűrűség
A modell a szórt tanítópontokból egy folytonos sűrűségtérképet becsül. Ahol sok a valódi példa, ott nagy a valószínűség, a köztes üres területeken kicsi.

A mintavételezés

Ha a modell megtanulta ezt a sűrűségtérképet, akkor a képgenerálás valójában mintavételezés (sampling) belőle. A modell nem egy meglévő tanítóképet másol vissza, hanem húz egy új pontot a magas valószínűségű tartományból. Ezért lesz az eredmény új, mégis hihető, egy olyan macska, amely soha nem létezett, de minden ízében macskának néz ki. A jó generatív modell ismérve épp a kettő egyensúlya. Elég hűen követi a tanítóadatok mintázatait ahhoz, hogy hihető legyen, de nem másol, hanem tényleg újat alkot. Az alábbi lépéssor összefoglalja, mi történik a nyers adattól a kész új mintáig.

  1. AdatgyűjtésSok valódi példát gyűjtünk össze, például több tízezer fényképet, amelyek ugyanabból a világból származnak.
  2. Az eloszlás tanulásaA modell a példákból megbecsüli, hol sűrűsödnek a hihető minták, vagyis felállítja a sűrűségtérképet.
  3. MintavételezésA megtanult eloszlásból új pontot húzunk a nagy valószínűségű tartományból.
  4. Új mintaAz eredmény egy korábban nem látott, mégis hiteles kép, hang vagy szöveg.

Miért nehéz ez

A generatív feladat sokkal többet kíván, mint egy osztályozás. Egy címke eltalálásához elég néhány jellemzőt figyelni, egy egész kép megalkotásához viszont a modellnek a képek minden belső szabályát tudnia kell, a színek összefüggését, a formák arányát, azt, hogy egy arcon két szem van és nem három. Egy közepes felbontású kép is sok tízezer pixelből áll, és ezek együttes eloszlása elképesztően bonyolult. Éppen ezért nem egyetlen generatív módszer létezik, hanem több egymást követő ötlet, amelyek különböző módon birkóznak meg ezzel a nehézséggel. A diffúziós modell ezek közül az egyik legújabb és a képgenerálásban ma az egyik legerősebb. A következő leckében ezt a mezőnyt tekintjük át, hogy lássuk, hova illeszkedik a diffúzió.

1

Egy mondatban. A generatív modell megtanulja az adatok valószínűségi eloszlását, és abból új mintát vesz, ezért tud olyan képet előállítani, ami hihető, de korábban nem létezett.

Következő lecke →

Workshop

AI Transformation Day

Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.

Érdekel a program →