Një ekip i Studiuesit e Universitetit të Tel Avivit zbuluan së fundmi HyperStyle, e cila është një version i kundërt të sistemit të mësimit të makinerive NVIDIA StyleGAN2 e cila është ridizajnuar për të rikrijuar pjesët që mungojnë gjatë redaktimit të imazheve të botës reale.
StyleGAN karakterizohet duke lejuar sintetizimin e fytyrave të reja të njerëzve me një pamje realiste, vendosjen e parametrave si mosha, gjinia, gjatësia e flokëve, karakteri i buzëqeshjes, forma e hundës, ngjyra e lëkurës, syzet dhe këndi fotografik.
Për më tepër, HyperStyle bën të mundur ndryshimin e parametrave të ngjashëm në ato ekzistuese, Me fjalë të tjera, ju lejon të krijoni fotografi pa modifikuar tiparet e tyre karakteristike dhe duke ruajtur njohjen e fytyrës origjinale.
HyperStyle prezanton hiperrrjetet për të mësuar se si të përsosin peshat e një gjeneratori StyleGAN të trajnuar më parë në lidhje me një imazh të dhënë hyrës. Kjo mundëson rindërtimin e nivelit të optimizimit me kohë konkluzionesh të ngjashme me koduesin dhe redaktueshmëri të lartë.
Për shembull, kur përdorni HyperStyle, mund të simulojë një ndryshim në moshën e një personi në një fotografi, ndryshoni një model flokësh, shtoni syze, mjekër ose mustaqe, bëni një fotografi të duket si një personazh vizatimor ose një figurë të vizatuar me dorë, bëni një shprehje fytyre të trishtuar ose të lumtur.
Në këtë rast, Sistemi mund të trajnohet jo vetëm për të ndryshuar fytyrat e njerëzve, por edhe për çdo objekt, për Për shembull, për të modifikuar imazhet e makinës.
Shumica e punimeve që studiojnë përmbysjen kërkojnë një kod latent që rindërton më saktë një imazh të caktuar. Disa punë të fundit kanë propozuar akordim të imët të imazhit të peshave të gjeneratorit për të arritur rindërtim me cilësi të lartë për një imazh të caktuar objektiv. Me HyperStyle, qëllimi ynë është t'i sjellim këto qasje të akordimit të gjeneratorëve në fushën e aplikacioneve ndërvepruese duke i përshtatur ato me një qasje të bazuar në kodues.
Ne trajnuam një hiperrrjet të vetëm për të mësuar se si të rafinojmë peshat e gjeneratorit në lidhje me imazhin e synuar të dëshiruar. Duke mësuar këtë hartë, HyperStyle parashikon në mënyrë efikase peshën e synuar të gjeneratorit në më pak se 2 sekonda për imazh, duke e bërë atë të zbatueshëm për një gamë të gjerë aplikacionesh.
Metoda e propozuar synon të zgjidhë problemin e rindërtimit të pjesëve që mungojnë të një imazhi gjatë redaktimit. Teknikat e propozuara më parë kanë trajtuar ekuilibrin midis rindërtimit dhe redaktimit duke rregulluar mirë imazherin për të zëvendësuar pjesë të imazhit të synuar ndërsa rikrijojnë rajone të redaktueshme që fillimisht mungonin. Ana negative e qasjeve të tilla është nevoja për trajnim afatgjatë të synuar të rrjetit nervor për çdo imazh.
Metoda e bazuar në algoritmin StyleGAN lejon përdorimin e një modeli tipik, të trajnuar paraprakisht në koleksionet e zakonshme të imazheve, për të gjeneruar elementë karakteristikë të imazhit origjinal me një nivel besimi të krahasueshëm me algoritmet që kërkojnë një trajnim individual të modelit për çdo imazh.
Një nga avantazhet e metodës së re është aftësia për të modifikuar imazhet me një performancë afër kohës reale, përveç faktit që modeli është gati të stërvitet i përgatitur për ata njerëz, makina dhe kafshë bazuar në koleksionet nga Flickr-the Faces-HQ (FFHQ, 70,000 imazhe PNG me cilësi të lartë të fytyrave të njerëzve), The Stanford Cars (16 imazhe makinash) dhe AFHQ (foto të kafshëve).
Përveç kësaj, ofrohet një grup mjetesh për të trajnuar modelet tuajasi dhe modele të trajnuara të gatshme për përdorim të koduesve dhe gjeneratorëve tipikë të përshtatshëm për t'u përdorur me ta. Për shembull, ka gjeneratorë të disponueshëm për krijimin e imazheve të stilit Toonify, personazheve të Pixar, krijimin e skicave dhe madje edhe stilimin si princeshat e Disney.
Më në fund për ata që janë të interesuar të dinë më shumë Në lidhje me këtë mjet, mund të kontrolloni detajet Në lidhjen vijuese.
Është gjithashtu e rëndësishme të përmendet se kodi është shkruar në Python duke përdorur kornizën PyTorch dhe është i licencuar nga MIT. Mund ta kontrolloni kodin në lidhja e mëposhtme.