Tim od Istraživači Sveučilišta u Tel Avivu nedavno su predstavili HyperStyle, koji je obrnuta verzija sustava strojnog učenja NVIDIA StyleGAN2 koji je redizajniran kako bi ponovno stvorio dijelove koji nedostaju prilikom uređivanja slika stvarnog svijeta.
StyleGAN je karakteriziran time što omogućuje sintetiziranje novih lica ljudi s realističnim izgledom, postavljanje parametara kao što su dob, spol, duljina kose, karakter osmijeha, oblik nosa, boja kože, naočale i kut fotografiranja.
Nadalje, HyperStyle omogućuje promjenu sličnih parametara u postojećim, Drugim riječima, omogućuje stvaranje fotografija bez mijenjanja njihovih karakterističnih značajki i očuvanja prepoznatljivosti izvornog lica.
HyperStyle uvodi hipermreže kako bi naučio kako precizirati težine prethodno obučenog StyleGAN generatora u odnosu na danu ulaznu sliku. To omogućuje ponovnu izgradnju razine optimizacije s vremenima zaključivanja poput kodera i visokom mogućnosti uređivanja.
Na primjer, prilikom korištenja HyperStyle, može simulirati promjenu starosti osobe na fotografiji, promijenite frizuru, dodajte naočale, bradu ili brkove, učinite sliku poput lika iz crtića ili rukom nacrtane slike, napravite tužan ili sretan izraz lica.
U ovom slučaju Sustav se može osposobiti ne samo za promjenu lica ljudi, već i za bilo koji objekt, za Na primjer, za uređivanje slika automobila.
Većina radova koji proučavaju inverziju traže latentni kod koji točnije rekonstruira danu sliku. Neki noviji radovi su predložili fino ugađanje težine generatora kako bi se postigla visokokvalitetna rekonstrukcija za danu ciljnu sliku. Uz HyperStyle, naš je cilj dovesti ove pristupe ugađanja generatora u područje interaktivnih aplikacija prilagođavajući ih pristupu koji se temelji na koderu.
Istrenirali smo jednu hipermrežu kako bismo naučili kako precizirati težine generatora u odnosu na željenu ciljnu sliku. Učenjem ovog mapiranja, HyperStyle učinkovito predviđa težinu cilja generatora za manje od 2 sekunde po slici, što ga čini primjenjivim na širok raspon aplikacija.
Predložena metoda ima za cilj riješiti problem rekonstrukcije nedostajućih dijelova slike tijekom uređivanja. Prethodno predložene tehnike bavile su se ravnotežom između rekonstrukcije i uređivanja finim ugađanjem slikovnog uređaja kako bi se zamijenili dijelovi ciljne slike uz ponovno stvaranje područja za uređivanje koja su izvorno nedostajala. Nedostatak takvih pristupa je potreba za dugotrajnim ciljanim treningom neuronske mreže za svaku sliku.
Metoda bazirana na StyleGAN algoritmu omogućuje korištenje tipičnog modela, unaprijed obučeni na uobičajenim zbirkama slika, za generiranje karakterističnih elemenata izvorne slike s razinom pouzdanosti koja je usporediva s algoritmima koji zahtijevaju individualnu obuku modela za svaku sliku.
Jedna od prednosti nove metode je mogućnost modificiranja slika s izvedbom blizu stvarnog vremena, uz činjenicu da model je spreman za obuku pripremljen za te ljude, automobile i životinje na temelju kolekcija iz Flickr-the Faces-HQ (FFHQ, 70,000 visokokvalitetnih PNG slika lica ljudi), The Stanford Cars (16 slika automobila) i AFHQ (fotografije životinja).
Osim toga, osiguran je skup alata za obuku vaših modelakao i obučeni modeli tipičnih kodera i generatora koji su spremni za korištenje s njima. Na primjer, dostupni su generatori za stvaranje slika u Toonify stilu, Pixarovih likova, stvaranje skica, pa čak i stiliziranje poput Disneyjevih princeza.
Konačno za one koji su zainteresirani da znaju više O ovom alatu možete provjeriti pojedinosti U sljedećem linku.
Također je važno napomenuti da je kod napisan na Pythonu koristeći PyTorch framework i licenciran je MIT-om. Kod možete provjeriti na sljedeći link.