Ett team av Forskare från Tel Aviv University presenterade nyligen HyperStyle, vilket är en omvänd version av maskininlärningssystemet NVIDIA StyleGAN2 som har designats om för att återskapa saknade delar när du redigerar bilder från verkliga världen.
StyleGAN kännetecknas av att tillåta att syntetisera nya ansikten av människor med ett realistiskt utseende, ställa in parametrar som ålder, kön, hårlängd, leendekaraktär, näsform, hudfärg, glasögon och fotografisk vinkel.
Vidare, HyperStyle gör det möjligt att ändra liknande parametrar i befintliga, Med andra ord låter det dig skapa fotografier utan att ändra deras karakteristiska egenskaper och bevara igenkännbarheten av det ursprungliga ansiktet.
HyperStyle introducerar hypernätverk för att lära sig hur man förfinar vikterna för en tidigare tränad StyleGAN-generator i förhållande till en given ingångsbild. Genom att göra det möjliggörs återuppbyggnader av optimeringsnivåer med kodarliknande slutledningstider och hög redigerbarhet.
Till exempel vid användning HyperStyle, kan simulera en förändring av en persons ålder på ett fotografi, ändra en frisyr, lägg till glasögon, skägg eller mustasch, få en bild att se ut som en seriefigur eller en handritad bild, gör ett ledset eller glatt ansiktsuttryck.
I detta fall, Systemet kan tränas inte bara för att förändra människors ansikten, utan också för alla föremål, för Till exempel för att redigera bilbilder.
De flesta verk som studerar inversion letar efter en latent kod som mer exakt rekonstruerar en given bild. En del nyare arbeten har föreslagit bildfinjustering av generatorvikterna för att uppnå en rekonstruktion av hög kvalitet för en given målbild. Med HyperStyle siktar vi på att föra dessa generatorjusteringsmetoder till området för interaktiva applikationer genom att anpassa dem till ett kodarbaserat tillvägagångssätt.
Vi tränade ett enda hypernätverk för att lära oss hur man förfinar generatorvikter i förhållande till en önskad målbild. Genom att lära sig denna mappning förutsäger HyperStyle effektivt generatorns målvikter på mindre än 2 sekunder per bild, vilket gör den tillämpbar för ett brett spektrum av applikationer.
Den föreslagna metoden syftar till att lösa problemet med att rekonstruera saknade delar av en bild under redigering. De tidigare föreslagna teknikerna har tagit itu med balansen mellan rekonstruktion och redigering genom att finjustera avbildaren för att ersätta delar av målbilden samtidigt som de återskapar redigerbara områden som ursprungligen saknades. Nackdelen med sådana tillvägagångssätt är behovet av långsiktig målinriktad träning av det neurala nätverket för varje bild.
Metoden baserad på StyleGAN-algoritmen gör det möjligt att använda en typisk modell, förutbildad på vanliga bildsamlingar, för att generera karakteristiska element av originalbilden med en nivå av förtroende som är jämförbar med algoritmer som kräver individuell träning av modellen för varje bild.
En av fördelarna med den nya metoden är möjligheten att modifiera bilder med en prestanda nära realtid, förutom att modellen är redo att träna förberedd för dessa människor, bilar och djur baserat på samlingarna från Flickr-the Faces-HQ (FFHQ, 70,000 16 högkvalitativa PNG-bilder av människors ansikten), The Stanford Cars (XNUMX XNUMX bilder av bilar) och AFHQ (foton på djur).
Dessutom, en uppsättning verktyg tillhandahålls för att träna dina modellersamt färdiga att använda utbildade modeller av typiska omkodare och generatorer som är lämpliga för användning med dem. Till exempel finns det generatorer tillgängliga för att skapa bilder i Toonify-stil, Pixar-karaktärer, skapa skisser och till och med styla som Disney-prinsessor.
Slutligen för den som är intresserad av att veta mer Om det här verktyget kan du kontrollera detaljerna I följande länk.
Det är också viktigt att nämna att koden är skriven i Python med PyTorch-ramverket och är MIT-licenserad. Du kan kontrollera koden på följande länk.