Nedávno NVIDIA zverejnila zdrojový kód pre StyleGAN3, systém strojového učenia založený na generatívnych nepriaznivých neurónových sieťach (GAN) na syntézu realistických obrazov ľudských tvárí.
V štýle StyleGAN3 sú k dispozícii na stiahnutie vyškolené modely pripravené na použitie vyškolené v zbierke Flickr-Faces-HQ (FFHQ), ktorý obsahuje 70 1024 obrázkov PNG vysokokvalitných ľudských tvárí (1024 × 2). Okrem toho existujú modely postavené na základe zbierok AFHQvXNUMX (fotografie zvieracích tvárí) a Metfaces (obrazy tvárí ľudí z klasických maliarskych portrétov).
O programe StyleGAN3
dizajn zameriava sa na tváre, ale systém je možné vycvičiť tak, aby generoval akýkoľvek typ objektu, ako krajina a autá. Čo je viac, sú k dispozícii nástroje na automatické učenie sa neurónovej siete pomocou vlastných zbierok obrázkov. Vyžaduje jednu alebo viac grafických kariet NVIDIA (Odporúčame GPU Tesla V100 alebo A100), najmenej 12 GB RAM, PyTorch 1.9 a CUDA 11.1+ Toolkit. Na určenie umelej povahy prijatých tvárí sa vyvíja špeciálny detektor.
Systém umožňuje syntetizovať obraz novej tváre na základe interpolácie vlastností niekoľkých tvárí, kombináciou ich inherentných vlastností, okrem prispôsobenia konečného obrazu požadovanému veku, pohlaviu, dĺžke vlasov, charakteru úsmevu, tvaru nosa, farbe pokožky, okuliarov, fotografického uhla.
Generátor zaobchádza s obrázkom ako so zbierkou štýlov, automaticky oddeľuje charakteristické detaily (pehy, vlasy, okuliare) všeobecných atribútov na vysokej úrovni (držanie tela, pohlavie, zmeny súvisiace s vekom) a umožňuje ich ľubovoľné kombinovanie s definíciou dominantných vlastností pomocou váhových faktorov a v dôsledku čoho sa vytvárajú obrázky, ktoré sú zrejme na nerozoznanie od skutočných fotografií.
Prvá verzia technológie StyleGAN (vydaná v roku 2019), po ktorej bude v roku 2 nasledovať vylepšená verzia StyleGAN2020, ktorá zlepšuje kvalitu obrazu a odstraňuje niektoré artefakty. Systém zároveň zostal statický, to znamená, že neumožňoval realistické animácie ani pohyby tváre. Pri vývoji StyleGAN3 bolo hlavným cieľom prispôsobiť technológiu na použitie v animácii a videu.
StyleGAN3 používa prepracovanú architektúru zobrazovania bez aliasuponúka nové scenáre školenia v oblasti neurónových sietí a tiež obsahuje nové nástroje pre interaktívnu vizualizáciu (visualizer.py), analýzu (avg_spectra.py) a generovanie videa (gen_video.py). Implementácia taktiež znižuje spotrebu pamäte a urýchľuje proces učenia.
Kľúčovou črtou architektúry StyleGAN3 bol prechod na interpretáciu všetkých signálov v neurónovej sieti formou kontinuálnych procesov, ktoré umožnili manipulovať so relatívnymi polohami vytváraním častí, ktoré nie sú viazané na absolútne súradnice jednotlivých pixelov v obrázok, ale pripevnený k povrchu reprezentovaných predmetov.
Kým v StyleGAN a StyleGAN2 spôsobovalo prichytávanie k pixelom počas zostavovania problémy s dynamickým vykresľovanímNapríklad, keď sa obraz pohyboval, došlo k nesúladu malých detailov, ako sú vrásky a chĺpky, ktoré sa zdali byť oddelené od zvyšku obrazu tváre, okrem toho v programe StyleGAN3 sú tieto problémy vyriešené a technológia má Stali sa celkom vhodnými na generovanie videa.
konečne, tiež stojí za zmienku oznámenie o vytvorenie najväčšieho jazykového modelu MT-NLG spoločnosťami NVIDIA a Microsoft založené na hlbokej neurónovej sieti s »transformačnou« architektúrou.
Model pokrýva 530 miliárd parametrov a bolo použitých celkom 4480 GPU na školenie (560 serverov DGX A100 s 8 GPU A100 po 80 GB). Oblasti aplikácie modelu sa nazývajú riešenie problémov so spracovaním informácií v prirodzenom jazyku, ako je predpovedanie dokončenia nedokončenej vety, odpovedanie na otázky, čítanie s porozumením, vytváranie záverov v prirodzenom jazyku a analýza nejednoznačnosti významu slov.
Ak máte záujem dozvedieť sa o tom viac, môžete si skontrolovať podrobnosti o StyleGAN3 Na nasledujúcom odkaze.