Ryhmä Tel Avivin yliopiston tutkijat paljastivat hiljattain HyperStylen, mikä on käänteinen versio koneoppimisjärjestelmästä NVIDIA StyleGAN2 joka on suunniteltu uudelleen luomaan puuttuvat palaset todellisen maailman kuvia editoitaessa.
StyleGANille on ominaista se, että se mahdollistaa ihmisten uusien kasvojen syntetisoinnin realistisesti, asetusparametrit, kuten ikä, sukupuoli, hiusten pituus, hymyn luonne, nenän muoto, ihon väri, lasit ja valokuvakulma.
Lisäksi, HyperStyle mahdollistaa samanlaisten parametrien muuttamisen olemassa olevissa, Toisin sanoen sen avulla voit luoda valokuvia muuttamatta niiden ominaispiirteitä ja säilyttämättä alkuperäisten kasvojen tunnistettavuutta.
HyperStyle esittelee hyperverkot oppiakseen tarkentamaan aiemmin koulutetun StyleGAN-generaattorin painoja suhteessa annettuun syöttökuvaan. Tämä mahdollistaa optimointitason uudelleenrakentamisen enkooderin kaltaisilla päättelyajoilla ja suurella muokatavuudella.
Esimerkiksi käytettäessä HyperStyle, voi simuloida valokuvassa olevan henkilön iän muutosta, muuta hiustyyliä, lisää lasit, parta tai viikset, tee kuvasta sarjakuvahahmon tai käsin piirretyn kuvan näköinen, tee surullinen tai iloinen ilme.
Tässä tapauksessa Järjestelmää voidaan kouluttaa paitsi muuttamaan ihmisten kasvoja, myös mitä tahansa esinettä varten Esimerkiksi autokuvien muokkaamiseen.
Suurin osa inversiota tutkivista teoksista etsii piilevää koodia, joka rekonstruoi tietyn kuvan tarkemmin. Joissakin viimeaikaisissa töissä on ehdotettu kuvan hienosäätöä generaattoripainoille korkealaatuisen rekonstruoinnin saavuttamiseksi tietylle kohdekuvalle. HyperStylen avulla tavoitteemme on tuoda nämä generaattorivirityslähestymistavat interaktiivisten sovellusten maailmaan mukauttamalla ne kooderipohjaiseen lähestymistapaan.
Koulutimme yhden hyperverkon oppiaksemme tarkentamaan generaattorin painoja suhteessa haluttuun kohdekuvaan. Oppiessaan tämän kartoituksen HyperStyle ennustaa tehokkaasti generaattorin tavoitepainot alle kahdessa sekunnissa kuvaa kohden, joten se soveltuu monenlaisiin sovelluksiin.
Ehdotettu menetelmä pyrkii ratkaisemaan ongelman, joka liittyy kuvan puuttuvien osien rekonstruoimiseen editoinnin aikana. Aiemmin ehdotetut tekniikat ovat löytäneet tasapainon rekonstruoinnin ja muokkauksen välillä hienosäätämällä kuvanturia korvaamaan kohdekuvan osia ja luomalla uudelleen muokattavat alueet, jotka alun perin puuttuivat. Tällaisten lähestymistapojen haittapuolena on tarve pitkällä aikavälillä kohdistettuun neuroverkkokoulutukseen jokaista kuvaa varten.
StyleGAN-algoritmiin perustuva menetelmä mahdollistaa tyypillisen mallin, Esiopetettu yleisiin kuvakokoelmiin, jotta voidaan luoda alkuperäisen kuvan tunnusomaisia elementtejä luotettavuustasolla, joka on verrattavissa algoritmeihin, jotka edellyttävät mallin yksilöllistä koulutusta jokaiselle kuvalle.
Yksi uuden menetelmän eduista on kyky muokata kuvia suorituskykyä lähellä reaaliaikaa, sen lisäksi, että malli on valmiina harjoitteluun valmistautuneena niille ihmisille, autoille ja eläimille kokoelmien perusteella Flickr-the Faces-HQ (FFHQ, 70,000 16 korkealaatuista PNG-kuvaa ihmisten kasvoista), The Stanford Cars (XNUMX XNUMX kuvaa autoista) ja AFHQ (eläinkuvia).
Lisäksi, Saatavilla on joukko työkaluja mallien kouluttamiseensekä käyttövalmiit koulutetut mallit tyypillisistä koodereista ja generaattoreista, jotka soveltuvat käytettäväksi niiden kanssa. Saatavilla on esimerkiksi generaattoreita Toonify-tyylisten kuvien, Pixar-hahmojen, luonnosten luomiseen ja jopa Disney-prinsessan kaltaisten tyylien luomiseen.
Vihdoin niille, jotka ovat kiinnostuneita tietämään lisää Voit tarkistaa tämän työkalun tiedot Seuraavassa linkissä.
On myös tärkeää mainita, että koodi on kirjoitettu Pythonissa käyttämällä PyTorch-kehystä ja sillä on MIT-lisenssi. Voit tarkistaa koodin osoitteessa seuraava linkki.