Tím Vedci z Tel Avivskej univerzity nedávno predstavili HyperStyle, ktorý je obrátená verzia systému strojového učenia NVIDIA StyleGAN2 ktorý bol prepracovaný tak, aby pri úprave obrázkov skutočného sveta znovu vytvoril chýbajúce kúsky.
StyleGAN sa vyznačuje tým, že umožňuje syntetizovať nové tváre ľudí s realistickým vzhľadom, nastavenie parametrov ako vek, pohlavie, dĺžka vlasov, charakter úsmevu, tvar nosa, farba pleti, okuliare a fotografický uhol.
Okrem toho, HyperStyle umožňuje meniť podobné parametre v existujúcich, Inými slovami, umožňuje vytvárať fotografie bez úpravy ich charakteristických čŕt a so zachovaním rozpoznateľnosti pôvodnej tváre.
HyperStyle predstavuje hypersiete, aby ste sa naučili, ako spresniť váhy predtým vyškoleného generátora StyleGAN vo vzťahu k danému vstupnému obrázku. Umožňuje to prebudovanie na úrovni optimalizácie s inferenčnými časmi podobnými kódovaču a vysokou upraviteľnosťou.
Napríklad pri používaní HyperStyle, dokáže na fotografii simulovať zmenu veku osoby, zmeniť účes, pridať okuliare, bradu alebo fúzy, urobiť obrázok tak, aby vyzeral ako kreslená postavička alebo ručne nakreslený obrázok, urobiť smutný alebo šťastný výraz tváre.
V tomto prípade, Systém je možné natrénovať nielen na zmenu tvárí ľudí, ale aj na akýkoľvek predmet, za Napríklad na úpravu obrázkov áut.
Väčšina prác, ktoré študujú inverziu, hľadá latentný kód, ktorý presnejšie rekonštruuje daný obraz. Niektoré nedávne práce navrhli jemné doladenie hmotnosti generátora obrazu, aby sa dosiahla vysokokvalitná rekonštrukcia pre daný cieľový obraz. Pomocou HyperStyle sa snažíme priniesť tieto prístupy ladenia generátorov do oblasti interaktívnych aplikácií ich prispôsobením prístupu založenému na kódovači.
Trénovali sme jedinú hypersieť, aby sme sa naučili, ako spresniť váhy generátora vzhľadom na požadovaný cieľový obrázok. Naučením sa tohto mapovania HyperStyle efektívne predpovedá cieľové hmotnosti generátora za menej ako 2 sekundy na obrázok, vďaka čomu je použiteľný pre širokú škálu aplikácií.
Navrhovaná metóda má za cieľ vyriešiť problém rekonštrukcie chýbajúcich častí obrazu počas úpravy. Vyššie navrhnuté techniky riešili rovnováhu medzi rekonštrukciou a úpravou jemným doladením zobrazovača tak, aby nahradil časti cieľového obrazu a zároveň znovu vytvoril upraviteľné oblasti, ktoré pôvodne chýbali. Negatívom takýchto prístupov je potreba dlhodobého cieleného tréningu neurónovej siete pre každý obrázok.
Metóda založená na algoritme StyleGAN umožňuje použiť typický model, predtrénované na bežných kolekciách obrázkov, aby sa generovali charakteristické prvky pôvodného obrázku s úrovňou spoľahlivosti porovnateľnou s algoritmami, ktoré si vyžadujú individuálne trénovanie modelu pre každý obrázok.
Jednou z výhod novej metódy je možnosť upravovať obrázky s výkonom blízkym reálnemu času, okrem toho, že Model je pripravený na tréning pripravený pre ľudí, autá a zvieratá na základe kolekcií z Flickr-the Faces-HQ (FFHQ, 70,000 16 vysokokvalitných obrázkov PNG tvárí ľudí), The Stanford Cars (XNUMX XNUMX obrázkov áut) a AFHQ (fotografie zvierat).
Okrem toho, je k dispozícii sada nástrojov na trénovanie vašich modelovako aj pripravené na použitie vyškolené modely typických kódovačov a generátorov vhodných na použitie s nimi. K dispozícii sú napríklad generátory na vytváranie obrázkov v štýle Toonify, postavičky Pixar, vytváranie náčrtov a dokonca aj štýly ako princezné Disney.
Konečne pre tých, ktorí majú záujem dozvedieť sa viac O tomto nástroji si môžete pozrieť podrobnosti Na nasledujúcom odkaze.
Je tiež dôležité spomenúť, že kód je napísaný v Pythone pomocou frameworku PyTorch a je licencovaný MIT. Kód si môžete skontrolovať na nasledujúci odkaz.