Komanda no Telavivas universitātes pētnieki nesen atklāja HyperStyle, kurš ir apgrieztā versija mašīnmācīšanās sistēma NVIDIA StyleGAN2 kas ir pārveidots, lai, rediģējot reālās pasaules attēlus, atjaunotu trūkstošos gabalus.
StyleGAN raksturo tas, ka ļauj sintezēt jaunas cilvēku sejas ar reālistisku izskatu, iestatīšanas parametri, piemēram, vecums, dzimums, matu garums, smaida raksturs, deguna forma, ādas krāsa, brilles un fotografēšanas leņķis.
Turklāt, HyperStyle ļauj mainīt līdzīgus parametrus esošajos, Citiem vārdiem sakot, tas ļauj izveidot fotogrāfijas, nepārveidojot to raksturīgās iezīmes un saglabājot oriģinālās sejas atpazīstamību.
HyperStyle ievieš hipertīklus, lai uzzinātu, kā precizēt iepriekš apmācīta StyleGAN ģeneratora svaru attiecībā pret doto ievades attēlu. Tādējādi tiek nodrošināta optimizācijas līmeņa pārbūve ar kodētājam līdzīgiem secinājumu laikiem un augstu rediģējamību.
Piemēram, lietojot HyperStyle, var simulēt fotoattēlā esošās personas vecuma izmaiņas, mainiet frizūru, pievienojiet brilles, bārdu vai ūsas, izveidojiet attēlu pēc multfilmas varoņa vai ar roku zīmētas bildes, izveidojiet skumju vai priecīgu sejas izteiksmi.
Šajā gadījumā, Sistēmu var apmācīt ne tikai mainīt cilvēku sejas, bet arī jebkuram objektam, par Piemēram, lai rediģētu automašīnu attēlus.
Lielākā daļa darbu, kas pēta inversiju, meklē latentu kodu, kas precīzāk rekonstruē doto attēlu. Dažos nesenos darbos ir ierosināta attēla precīza ģeneratora svaru noregulēšana, lai sasniegtu augstas kvalitātes rekonstrukciju konkrētam mērķa attēlam. Izmantojot HyperStyle, mūsu mērķis ir ieviest šīs ģeneratoru regulēšanas pieejas interaktīvo lietojumprogrammu jomā, pielāgojot tās uz kodētāju balstītai pieejai.
Mēs apmācījām vienu hipertīklu, lai uzzinātu, kā precizēt ģeneratora svarus attiecībā pret vēlamo mērķa attēlu. Apgūstot šo kartēšanu, HyperStyle efektīvi prognozē ģeneratora mērķa svaru mazāk nekā 2 sekundēs vienam attēlam, padarot to piemērojamu plašam lietojumu klāstam.
Piedāvātā metode mērķis ir atrisināt problēmu, kas saistīta ar trūkstošo attēla daļu rekonstrukciju rediģēšanas laikā. Iepriekš piedāvātās metodes ir risinājušas līdzsvaru starp rekonstrukciju un rediģēšanu, precīzi noregulējot attēlu, lai aizstātu mērķa attēla daļas, vienlaikus atjaunojot rediģējamos reģionus, kuru sākotnēji trūka. Šādu pieeju negatīvā puse ir nepieciešamība pēc ilgtermiņa mērķtiecīgas neironu tīkla apmācības katram attēlam.
Metode, kuras pamatā ir StyleGAN algoritms, ļauj izmantot tipisku modeli, iepriekš apmācīti par kopīgām attēlu kolekcijām, lai ģenerētu oriģinālā attēla raksturīgos elementus ar tādu ticamības līmeni, kas ir salīdzināms ar algoritmiem, kuriem nepieciešama individuāla modeļa apmācība katram attēlam.
Viena no jaunās metodes priekšrocībām ir iespēja modificēt attēlus ar veiktspēju tuvu reālajam laikam, papildus tam, ka modelis ir gatavs treniņam sagatavots tiem cilvēkiem, automašīnām un dzīvniekiem, pamatojoties uz kolekcijām no Flickr-the Faces-HQ (FFHQ, 70,000 16 augstas kvalitātes cilvēku seju PNG attēli), The Stanford Cars (XNUMX XNUMX automašīnu attēli) un AFHQ (dzīvnieku fotoattēli).
Turklāt, tiek nodrošināts rīku komplekts, lai apmācītu savus modeļuskā arī lietošanai gatavus tipisku kodētāju un ģeneratoru modeļus, kas ir piemēroti lietošanai kopā ar tiem. Piemēram, ir pieejami ģeneratori, lai izveidotu Toonify stila attēlus, Pixar varoņus, izveidotu skices un pat veidotu stilu kā Disneja princeses.
Beidzot tiem, kas vēlas uzzināt vairāk Par šo rīku varat pārbaudīt sīkāku informāciju Šajā saitē.
Ir arī svarīgi pieminēt, ka kods ir rakstīts Python, izmantojot PyTorch ietvaru, un tam ir MIT licence. Jūs varat pārbaudīt kodu vietnē šo saiti.