Meeskond Tel Avivi ülikooli teadlased avalikustasid hiljuti HyperStyle'i, mis on vastupidine versioon masinõppesüsteemist NVIDIA StyleGAN2 mis on ümber kujundatud, et taastada tegeliku maailma piltide redigeerimisel puuduvad tükid.
StyleGANi iseloomustab see, et see võimaldab sünteesida inimeste uusi nägusid, millel on realistlik välimus, seadistusparameetrid, nagu vanus, sugu, juuste pikkus, naeratuse iseloom, nina kuju, nahavärv, prillid ja pildistamisnurk.
Lisaks HyperStyle võimaldab muuta sarnaseid parameetreid olemasolevates, Teisisõnu võimaldab see luua fotosid muutmata nende iseloomulikke jooni ja säilitades originaalse näo äratuntavuse.
HyperStyle tutvustab hüpervõrke, et õppida, kuidas täpsustada eelnevalt treenitud StyleGAN-generaatori kaalusid antud sisendpildi suhtes. See võimaldab optimeerimistaseme ümberehitamist kodeerijalaadsete järeldusaegade ja suure redigeeritavusega.
Näiteks kasutamisel HyperStyle, võib simuleerida fotol oleva inimese vanuse muutust, muuta soengut, lisada prille, habet või vuntsid, teha pilt multikategelase või käsitsi joonistatud pildi moodi, teha kurb või rõõmus näoilme.
Sellisel juhul Süsteemi saab treenida mitte ainult inimeste nägusid muutma, vaid ka mis tahes objekti jaoks Näiteks autopiltide redigeerimiseks.
Enamik inversiooni uurivaid töid otsib varjatud koodi, mis antud kujutist täpsemalt rekonstrueerib. Mõnes hiljutises töös on tehtud ettepanek generaatori kaalude kujutise peenhäälestamiseks, et saavutada antud sihtkujutise kvaliteetne rekonstrueerimine. HyperStyle'i eesmärk on tuua need generaatori häälestamise lähenemisviisid interaktiivsete rakenduste valdkonda, kohandades neid kodeerijapõhisele lähenemisviisile.
Koolitasime ühte hüpervõrku, et õppida, kuidas täpsustada generaatori kaalusid soovitud sihtpildi suhtes. Selle kaardistamise õppides ennustab HyperStyle tõhusalt generaatori sihtkaalu vähem kui 2 sekundiga pildi kohta, muutes selle rakendatavaks paljudes rakendustes.
Kavandatud meetod eesmärk on lahendada redigeerimise käigus pildi puuduvate osade rekonstrueerimise probleem. Eespool pakutud tehnikad on lahendanud rekonstrueerimise ja redigeerimise vahelise tasakaalu, viimistledes pildistajat, et asendada sihtpildi osad, luues samal ajal uuesti redigeeritavad piirkonnad, mis algselt puudusid. Selliste lähenemisviiside negatiivne külg on vajadus närvivõrgu pikaajalise sihipärase väljaõppe järele iga pildi jaoks.
StyleGAN algoritmil põhinev meetod võimaldab kasutada tüüpilist mudelit, eelkoolitatud tavaliste pildikogude jaoks, et genereerida algse pildi iseloomulikud elemendid usaldustasemega, mis on võrreldav algoritmidega, mis nõuavad iga pildi jaoks mudeli individuaalset väljaõpet.
Uue meetodi üks eeliseid on võimalus muuta pilte reaalajale lähedase jõudlusega, lisaks sellele, et mudel on kollektsioonide põhjal valmis treenimiseks ette valmistatud nende inimeste, autode ja loomade jaoks Flickr-the Faces-HQ (FFHQ, 70,000 16 kvaliteetset PNG-pilti inimeste nägudest), The Stanford Cars (XNUMX XNUMX pilti autodest) ja AFHQ (fotod loomadest).
Lisaks mudelite koolitamiseks pakutakse tööriistade komplektisamuti kasutusvalmis koolitatud tüüpiliste kodeerijate mudelid ja nendega kasutamiseks sobivad generaatorid. Näiteks on saadaval generaatorid Toonify-stiilis piltide, Pixari tegelaste, visandite loomiseks ja isegi Disney printsesside stiilis kujundamiseks.
Lõpuks neile, kes soovivad rohkem teada saada Selle tööriista kohta saate üksikasju kontrollida Järgmisel lingil.
Samuti on oluline mainida, et kood on kirjutatud Pythonis PyTorchi raamistikku kasutades ja sellel on MIT-litsents. Koodi saate kontrollida aadressil järgmine link.