Nedavno NVIDIA je objavila izvorni kod za StyleGAN3, sistem za mašinsko učenje zasnovan na generativnim nepovoljnim neuronskim mrežama (GAN) za sintezu realnih slika ljudskih lica.
U StyleGAN3 dostupni su za preuzimanje već obučenih modela obučenih u zbirci Flickr-Faces-HQ (FFHQ), koji uključuje 70 hiljada PNG slika visokokvalitetnih ljudskih lica (1024 × 1024). Osim toga, postoje modeli izgrađeni na temelju zbirki AFHQv2 (fotografije lica životinja) i Metfaces (slike lica ljudi s portreta klasičnih slika).
O StyleGAN3
Dizajn fokusira se na lica, ali sistem se može osposobiti za generiranje bilo koje vrste objekata, poput pejzaža i automobila. Šta više, obezbeđeni su alati za samostalno učenje neuronske mreže koristeći vlastite zbirke slika. Zahtijeva jednu ili više NVIDIA grafičkih kartica (Preporučuje se GPU Tesla V100 ili A100), najmanje 12 GB RAM -a, PyTorch 1.9 i CUDA 11.1+ Toolkit. Za utvrđivanje umjetne prirode primljenih lica razvija se poseban detektor.
Sistem omogućuje sintetiziranje slike novog lica na temelju interpolacije značajki nekoliko lica, kombinirajući njihove inherentne karakteristike, uz prilagođavanje konačne slike potrebnoj dobi, spolu, dužini kose, karakteru osmijeha, obliku nosa, boji kože, naočalama, fotografskom kutu.
Generator tretira sliku kao zbirku stilova, automatski odvaja karakteristične detalje (pjegice, kosa, naočale) općih atributa na visokom nivou (držanje, spol, promjene povezane s godinama) i omogućava njihovu proizvoljnu kombinaciju s definicijom dominantnih svojstava putem faktora ponderiranja i da se kao rezultat stvaraju slike koje očigledno se ne razlikuju od stvarnih fotografija.
Prva verzija StyleGAN tehnologije (objavljena 2019.), nakon koje slijedi poboljšana verzija StyleGAN2 2020. godine, koja poboljšava kvalitetu slike i uklanja neke artefakte. Istovremeno, sistem je ostao statičan, odnosno nije dopuštao realne animacije ili pokrete lica. Prilikom razvoja StyleGAN3, glavni cilj je bio prilagoditi tehnologiju za upotrebu u animaciji i videu.
StyleGAN3 koristi redizajniranu ne-aliasing arhitekturu slikaay nudi nove scenarije obuke za neuronske mreže, a uključuje i nove pomoćne programe za interaktivnu vizualizaciju (visualizer.py), analizu (avg_spectra.py) i generiranje videa (gen_video.py). Implementacija također smanjuje potrošnju memorije i ubrzava proces učenja.
Ključna značajka StyleGAN3 arhitekture bio je prelazak na interpretaciju svih signala u neuronskoj mreži u obliku kontinuiranih procesa, što je omogućilo manipulaciju relativnim položajima formiranjem dijelova, koji nisu vezani za apsolutne koordinate pojedinih piksela u sliku, ali fiksiranu na površinu predstavljenih objekata.
Dok u StyleGAN -u i StyleGAN2, kačenje na piksele tokom sastavljanja uzrokovalo je probleme s dinamičkim iscrtavanjemNa primjer, kada se slika kretala, došlo je do neslaganja malih detalja, poput bora i dlaka, za koje se činilo da se kreću odvojeno od ostatka slike lica, osim toga u StyleGAN3 ti su problemi riješeni, a tehnologija ima postale sasvim prikladne za stvaranje video zapisa.
Na kraju, takođe vrijedno spomena najava stvaranje od strane NVIDIA-e i Microsofta najvećeg jezičkog modela MT-NLG zasnovan na dubokoj neuronskoj mreži sa »transformativnom« arhitekturom.
Model pokriva 530 milijardi parametara, a korišten je skup od 4480 GPU -a za obuku (560 DGX A100 servera sa 8 A100 GPU -a od po 80 GB svaki). Područja primjene modela nazivaju se rješavanje problema u obradi informacija u prirodnom jeziku, poput predviđanja dovršetka nedovršene rečenice, odgovaranja na pitanja, razumijevanja čitanja, formiranja zaključaka u prirodnom jeziku i analize dvosmislenosti značenja riječi.
Ako vas zanima više o tome, možete provjeriti detalje o StyleGAN3 Na sledećem linku.