Dhawaan NVIDIA waxay sii deysay koodhka ilaha StyleGAN3, nidaamka barashada mashiinka oo ku saleysan shabakadaha neerfaha ee waxyeellada leh (GAN) si loo soo saaro sawirrada dhabta ah ee wejiyada aadanaha.
In StyleGAN3 ayaa diyaar u ah inay soo dejiyaan moodallo tababaran oo diyaar u ah in la isticmaalo oo lagu tababaray ururinta Flickr-Faces-HQ (FFHQ), oo ay ku jiraan 70 kun oo sawirro PNG ah oo tayo sare leh oo wejiyada aadanaha ah (1024 × 1024). Intaa waxaa dheer, waxaa jira tusaalooyin lagu dhisay AFHQv2 (sawirrada wejiyada xayawaanka) iyo Metfaces (sawirrada wejiyada dadka oo laga soo qaaday sawirrada farshaxanka qadiimiga ah).
Ku saabsan StyleGAN3
Naqshadeynta wuxuu diiradda saaraa wejiyada, laakiin nidaamka waxaa loo tababari karaa inuu abuuro nooc kasta oo shay ah, sida muuqaalka iyo baabuurta. Maxaa ka sii badan, qalab ayaa loo fidiyaa is-barashada shabakadda neerfaha adoo adeegsanaya ururinta sawirkaaga. Wuxuu u baahan yahay hal ama ka badan kaararka garaafyada NVIDIA (Tesla V100 ama A100 GPUs ayaa lagula taliyay), ugu yaraan 12GB ee RAM, PyTorch 1.9, iyo CUDA 11.1+ Qalabka Qalabka. Si loo go'aamiyo dabeecadda macmalka ah ee wejiyada la helay, waxaa la diyaarinayaa qalab khaas ah.
Nidaamka waxay u oggolaaneysaa isku -darka sawir weji cusub oo ku saleysan is -dhexgalka astaamaha dhowr weji, iyaga oo isku daraya sifooyinkooda dhaxalka ah, marka lagu daro la -qabsiga sawirka ugu dambeeya da'da loo baahan yahay, jinsiga, dhererka timaha, dabeecadda dhoolla -caddaynta, qaabka sanka, midabka maqaarka, muraayadaha, xagal sawir.
Matoor ula dhaqma sawirka sida ururinta qaababka, si otomaatig ah u kala sooca faahfaahinta astaamaha (curyaaminta, timaha, muraayadaha) ee sifooyinka heerka sare ee guud (muuqaalka, jinsiga, isbeddellada da'da ku xiran) oo u oggolaanaya in si aan kala sooc lahayn loogu daro qeexidda guryaha waaweyn iyada oo loo marayo arrimo culeys iyo taas awgeed, sawirro ayaa la soo saaray waxay u muuqdaan kuwo aan kala sooci karin sawirrada dhabta ah.
Nooca koowaad ee tikniyoolajiyadda StyleGAN (oo la sii daayay 2019), oo ay ku xigto nooc la hagaajiyay oo ah StyleGAN2 sannadka 2020, kaas oo hagaajinaya tayada muuqaalka oo ka saaraya qaar ka mid ah waxyaabaha farshaxanka ah. Isla mar ahaantaana, nidaamku wuxuu ahaa mid taagan, taas oo ah, uma oggolaan dhaqdhaqaaqyo macquul ah ama dhaqdhaqaaqyo wajiga ah. Markii la horumarinayo StyleGAN3, yoolka ugu weyn wuxuu ahaa in la waafajiyo tikniyoolajiyadda si loogu isticmaalo animation iyo fiidiyaha.
StyleGAN3 waxay isticmaashaa naqshadda sawir-qaadista ee aan dib-u-habaynta lahaynay waxay bixisaa xaalado cusub oo tababbarka shabakadda neural -ka ah waxaana sidoo kale ku jira adeegyo cusub oo loogu talagalay ka -fiirsiga is -dhexgalka (visualizer.py), falanqaynta (avg_spectra.py) iyo jiilka fiidiyaha (gen_video.py). Hirgelinta ayaa sidoo kale hoos u dhigaysa isticmaalka xusuusta waxayna dedejisaa hannaanka waxbarashada.
Muuqaal muhiim ah oo ka mid ah qaab -dhismeedka StyleGAN3 wuxuu ahaa u -gudubka fasiraadda dhammaan calaamadaha shabakadda neerfayaasha qaab -socod joogto ah, taas oo suurtogal ka dhigtay in la awoodo in la maareeyo jagooyinka qaraabada iyadoo la samaynayo qaybo, oo aan ku xidhnayn isku -duwayaasha dhammaystiran ee shaqsiga pixels ee sawirka, laakiin ku dhegan dusha sare ee walxaha matala.
Iyadoo gudaha StyleGAN iyo StyleGAN2, ku -dhufashada pixels inta dhismuhu socdo waxay keeneen arrimo la xiriira wax -qabad firfircoonTusaale ahaan, markii sawirku dhaqaajinayey, waxaa jiray isku -dheelitirnaan tafaasiil yar, sida laalaabkii iyo timaha, kuwaas oo u muuqday inay si gooni ah uga guurayaan muuqaalka wejiga intiisa kale, marka lagu daro taas StyleGAN3 dhibaatooyinkaas waa la xaliyay tiknoolajiyadduna waxay leedahay noqo mid ku habboon jiilka fiidiyaha.
Ugu dambeyntii, sidoo kale xusid mudan ku dhawaaqista abuurka NVIDIA iyo Microsoft oo ah nooca ugu weyn ee luqadda MT-NLG ku salaysan shabakad neural oo qoto dheer oo leh »naqshad beddelid».
Qaabku wuxuu daboolayaa 530 bilyan oo cabbir waxaana la adeegsaday barkad ah 4480 GPUs tababarka (560 DGX A100 server oo leh 8 A100 GPUs oo ah 80 GB midkiiba). Meelaha lagu daydo tusaalaha waxaa loogu yeeraa xallinta mushkiladda macluumaadka ee luqadda dabiiciga ah, sida saadaalinta dhammaystirka jumlad aan dhammaan, ka jawaabidda su'aalaha, fahamka akhrinta, sameynta gabagabada luqadda dabiiciga ah, iyo falanqaynta mugdiga macnaha ereyada..
Hadaad xiisaynayso inaad waxbadan ka ogaato, waxaad eegi kartaa faahfaahinta StyleGAN3 Xiriirka soo socda.