Egy rögzített Markov lánc
Az előre folyamatot a Denoising Diffusion Probabilistic Models tanulmány egy rögzített Markov láncként (Markov chain) írja le. A Markov lánc annyit jelent, hogy minden állapot csak a közvetlenül előzőtől függ. A képünkből, amit a nulladik lépésnek tekintünk, indulunk, és minden lépésben egy kicsi Gauss zajt (Gaussian noise) adunk hozzá. A tiszta képet lépésenként egyre zajosabb változatok követik, egészen az utolsó lépésig, ahol a jel minden nyoma elveszik, és a kép közelítőleg tiszta Gauss zaj lesz. A tanulmányban a lépések száma nagy, a szerzők ezerben határozták meg. Fontos, hogy ez a rész teljesen rögzített, nincs benne tanulható paraméter, egy előre megadott recept szerint zajosít.
A varianciaütemezés
Az, hogy egy lépésben mennyi zajt keverünk a képhez, nem véletlenszerű, hanem egy előre megadott terv szabja meg. Ezt hívjuk varianciaütemezésnek (variance schedule). Minden lépéshez tartozik egy kis szám, amely megmondja, mekkora legyen az adott lépésben hozzáadott zaj mértéke. A DDPM tanulmányban ez az érték a folyamat elején nagyon kicsi, a végén valamivel nagyobb, és lineárisan növekszik a lépésekkel. A lényeg, hogy az elején finoman, csak egy kevés zajt adunk hozzá, hogy a kép szerkezete lassan bomoljon, a folyamat vége felé pedig gyorsabban közelítünk a tiszta zajhoz. A varianciaütemezés a diffúzió egyik fontos tervezési döntése.
Az ugrás bármelyik lépésre
A folyamat egyik legszebb tulajdonsága, hogy nem kell végigszimulálni az összes lépést ahhoz, hogy egy adott lépés zajos képéhez eljussunk. Mivel minden lépésben Gauss zajt adunk hozzá, a matematika összecsukható, és zárt alakban kiszámolható, hogyan néz ki a kép tetszőleges lépésben, közvetlenül az eredeti képből. A DDPM tanulmány szerint a tetszőleges lépéshez tartozó zajos kép az eredeti kép egy zsugorított változatának és egy adag Gauss zajnak az összege. A kettő aránya éppen az, amit a zajszint görbe mutat. Ez a zárt alakú ugrás teszi hatékonnyá a tanítást, mert a következő leckében látni fogjuk, hogy a tanításhoz éppen egy véletlen lépés zajos képére van szükségünk.
A zajos kép a zsugorított eredeti kép és a hozzáadott Gauss zaj összege. Az āₜ a jel megmaradó arányát adja meg az adott lépésben, ez a zajszint görbe csökkenő vonala.
Miért fontos, hogy a vége tiszta zaj
A folyamatot szándékosan úgy tervezzük, hogy az utolsó lépésre a kép közelítőleg tiszta Gauss zaj legyen, függetlenül attól, milyen képből indultunk. Ez azért kulcsfontosságú, mert a generáláskor éppen tiszta zajból akarunk majd indulni. Ha minden tanítókép a folyamat végén ugyanabba a jól ismert zajeloszlásba torkollik, akkor a generáláskor egyszerűen húzhatunk egy adag friss Gauss zajt, és a megtanult fordított folyamat abból tud majd kiindulni. Az előre folyamat tehát nemcsak elrontja a képet, hanem egy közös, ismerős kiindulóponthoz vezeti az összeset.
Három jellemző. Az előre folyamat rögzített és nem tanul, varianciaütemezés szerint fokozatosan zajosít, és zárt alakban bármelyik lépésre azonnal ugorhatunk. A vége mindig ugyanaz a tiszta Gauss zaj.
Workshop
AI Transformation Day
Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.
Érdekel a program →