Egy csapat A Tel Avivi Egyetem kutatói nemrég mutatták be a HyperStyle-t, ami fordított változata a gépi tanulási rendszerben NVIDIA StyleGAN2 amelyet úgy alakítottak át, hogy a valós képek szerkesztése során a hiányzó darabokat újra előállítsa.
A StyleGAN jellemzője, hogy lehetővé teszi az emberek új, valósághű megjelenésű arcainak szintetizálását, olyan paraméterek beállítása, mint az életkor, a nem, a hajhossz, a mosoly karaktere, az orr alakja, a bőrszín, a szemüveg és a fényképezési szög.
Továbbá, A HyperStyle lehetővé teszi a meglévő paraméterek hasonló paramétereinek megváltoztatását, Más szóval, lehetővé teszi fényképek készítését anélkül, hogy módosítaná jellemző tulajdonságaikat és megőrizné az eredeti arc felismerhetőségét.
A HyperStyle bemutatja a hiperhálózatokat, hogy megtanulja, hogyan lehet finomítani egy korábban betanított StyleGAN generátor súlyát egy adott bemeneti képhez képest. Ezzel lehetővé válik az optimalizálási szintű újraépítések kódolószerű következtetési időkkel és nagy szerkeszthetőséggel.
Például használat közben A HyperStyle képes szimulálni egy fényképen egy személy életkorának változását, frizurát változtat, szemüveget, szakállat vagy bajuszt ad hozzá, a képet rajzfilmfigurához vagy kézzel rajzolt képhez hasonlítja, szomorú vagy boldog arckifejezést készít.
Ebben az esetben, A rendszer nem csak az emberek arcának megváltoztatására tanítható, hanem bármilyen tárgyra, pl Például autóképek szerkesztéséhez.
Az inverziót vizsgáló művek többsége olyan látens kódot keres, amely pontosabban rekonstruálja az adott képet. Egyes közelmúltbeli munkák a generátor súlyainak képfinomhangolását javasolták egy adott célkép kiváló minőségű rekonstrukciójának elérése érdekében. A HyperStyle-lal arra törekszünk, hogy ezeket a generátorhangolási megközelítéseket az interaktív alkalmazások birodalmába hozzuk azáltal, hogy kódoló alapú megközelítéshez igazítjuk őket.
Egyetlen hiperhálózatot képeztünk ki, hogy megtanuljuk, hogyan lehet finomítani a generátor súlyait a kívánt célképhez képest. A leképezés megtanulásával a HyperStyle hatékonyan előrejelzi a generátor célsúlyát képenként kevesebb, mint 2 másodperc alatt, így az alkalmazások széles körében alkalmazható.
A javasolt módszer célja a kép hiányzó részei szerkesztés közbeni rekonstrukciója. A fent javasolt technikák a rekonstrukció és a szerkesztés közötti egyensúlyt úgy oldották meg, hogy a képalkotót úgy finomhangolták, hogy a célkép egyes részeit helyettesítsék, miközben újra létrehozták az eredetileg hiányzó szerkeszthető régiókat. Az ilyen megközelítések hátulütője az, hogy minden egyes kép esetében a neurális hálózat hosszú távú célzott képzésére van szükség.
A StyleGAN algoritmuson alapuló módszer lehetővé teszi egy tipikus modell használatát, gyakori képgyűjteményekre előképzett, hogy az eredeti kép jellegzetes elemeit olyan megbízhatósággal állítsák elő, amely összehasonlítható azokkal az algoritmusokkal, amelyek megkövetelik a modell egyedi betanítását minden egyes képhez.
Az új módszer egyik előnye, hogy a képeket a valós időhöz közeli teljesítménnyel lehet módosítani, amellett, hogy a modell a kollekciók alapján felkészült azokra az emberekre, autókra és állatokra felkészülve a Flickr-the Faces-HQ (FFHQ, 70,000 16 kiváló minőségű PNG kép az emberek arcáról), a The Stanford Cars (XNUMX XNUMX autókép) és az AFHQ (állatok fényképei).
Ezen túlmenően, egy eszközkészlet áll rendelkezésre a modellek betanításáhozvalamint a tipikus kódolók és a velük való használatra alkalmas generátorok használatra kész betanított modelljei. Például rendelkezésre állnak generátorok Toonify-stílusú képek, Pixar-karakterek, vázlatok készítésére, sőt Disney-hercegnőkhöz hasonló stílusok készítésére.
Végül azoknak, akik többet szeretnének tudni Ezzel az eszközzel kapcsolatban ellenőrizheti a részleteket A következő linken.
Azt is fontos megemlíteni, hogy a kód Python nyelven, a PyTorch keretrendszer segítségével íródott, és MIT licenccel rendelkezik. A kódot a címen ellenőrizheti a következő link.