Skupina Raziskovalci univerze v Tel Avivu so pred kratkim predstavili HyperStyle, kateri je obrnjena različica sistema strojnega učenja NVIDIA StyleGAN2 ki je bil preoblikovan za poustvarjanje manjkajočih kosov pri urejanju slik resničnega sveta.
Za StyleGAN je značilno, da omogoča sintetiziranje novih obrazov ljudi z realističnim videzom, nastavitev parametrov, kot so starost, spol, dolžina las, značaj nasmeha, oblika nosu, barva kože, očala in fotografski kot.
Poleg tega HyperStyle omogoča spreminjanje podobnih parametrov v obstoječih, Z drugimi besedami, omogoča ustvarjanje fotografij brez spreminjanja njihovih značilnih lastnosti in ohranjanja prepoznavnosti izvirnega obraza.
HyperStyle uvaja hiperomrežja, da se nauči, kako izboljšati uteži predhodno usposobljenega generatorja StyleGAN glede na dano vhodno sliko. S tem se omogoči ponovna izgradnja ravni optimizacije s časi sklepanja, podobnimi kodirniku, in visoko možnostjo urejanja.
Na primer pri uporabi HyperStyle, lahko simulira spremembo starosti osebe na fotografiji, spremenite pričesko, dodajte očala, brado ali brke, naredite sliko kot risanka ali ročno narisano sliko, naredite žalosten ali vesel izraz obraza.
V tem primeru oz. Sistem je mogoče usposobiti ne samo za spreminjanje obrazov ljudi, ampak tudi za kateri koli predmet, za Na primer za urejanje slik avtomobilov.
Večina del, ki preučujejo inverzijo, iščejo latentno kodo, ki natančneje rekonstruira dano sliko. Nekatera nedavna dela so predlagala fino nastavitev slike uteži generatorja za doseganje visokokakovostne rekonstrukcije za dano ciljno sliko. S HyperStyle želimo te pristope uglaševanja generatorjev prenesti na področje interaktivnih aplikacij, tako da jih prilagodimo pristopu, ki temelji na kodirniku.
Usposobili smo eno samo hipermrežje, da bi se naučili, kako izboljšati uteži generatorja glede na želeno ciljno sliko. Z učenjem tega preslikavanja HyperStyle učinkovito napoveduje ciljne teže generatorja v manj kot 2 sekundah na sliko, zaradi česar je uporabna za širok spekter aplikacij.
Predlagana metoda Cilj je rešiti problem rekonstrukcije manjkajočih delov slike med urejanjem. Zgoraj predlagane tehnike so obravnavale ravnovesje med rekonstrukcijo in urejanjem s fino nastavitvijo slikovnega aparata, da zamenja dele ciljne slike, hkrati pa ponovno ustvari območja, ki jih je mogoče urejati, ki so prvotno manjkala. Slaba stran takšnih pristopov je potreba po dolgoročnem ciljnem usposabljanju nevronske mreže za vsako sliko.
Metoda, ki temelji na algoritmu StyleGAN, omogoča uporabo tipičnega modela, vnaprej usposobljeni na običajnih zbirkah slik, da ustvarijo značilne elemente izvirne slike s stopnjo zaupanja, primerljivo z algoritmi, ki zahtevajo individualno usposabljanje modela za vsako sliko.
Ena od prednosti nove metode je možnost spreminjanja slik z zmogljivostjo blizu realnega časa, poleg tega pa model je pripravljen za usposabljanje, pripravljen za te ljudi, avtomobile in živali na podlagi zbirk iz Flickr-the Faces-HQ (FFHQ, 70,000 visokokakovostnih PNG slik obrazov ljudi), The Stanford Cars (16 slik avtomobilov) in AFHQ (fotografije živali).
Poleg tega, na voljo je nabor orodij za usposabljanje vaših modelovkot tudi za uporabo pripravljeni izurjeni modeli tipičnih kodirnikov in generatorjev, primernih za uporabo z njimi. Na primer, na voljo so generatorji za ustvarjanje slik v slogu Toonify, likov Pixar, ustvarjanje skic in celo oblikovanje kot Disneyjeve princese.
Končno za tiste, ki jih zanima več O tem orodju lahko preverite podrobnosti V naslednji povezavi.
Pomembno je tudi omeniti, da je koda napisana v Pythonu z uporabo ogrodja PyTorch in je licencirana MIT. Kodo lahko preverite na naslednjo povezavo.