Een team van Onderzoekers van de Universiteit van Tel Aviv hebben onlangs HyperStyle . onthuld, dat is een omgekeerde versie van het machine learning-systeem NVIDIA StyleGAN2 die opnieuw is ontworpen om ontbrekende stukken opnieuw te creëren bij het bewerken van afbeeldingen uit de echte wereld.
StyleGAN wordt gekenmerkt door het mogelijk maken om nieuwe gezichten van mensen te synthetiseren met een realistisch uiterlijk, parameters instellen zoals leeftijd, geslacht, haarlengte, glimlachkarakter, neusvorm, huidskleur, bril en fotografische hoek.
Bovendien HyperStyle maakt het mogelijk om vergelijkbare parameters in bestaande te wijzigen, Met andere woorden, het stelt u in staat om foto's te maken zonder hun karakteristieke kenmerken te wijzigen en de herkenbaarheid van het originele gezicht te behouden.
HyperStyle introduceert hypernetwerken om te leren hoe de gewichten van een eerder getrainde StyleGAN-generator kunnen worden verfijnd ten opzichte van een bepaald invoerbeeld. Hierdoor kunnen optimalisatieniveaus opnieuw worden opgebouwd met encoderachtige inferentietijden en hoge bewerkbaarheid.
Bijvoorbeeld, bij gebruik van HyperStyle, kan een verandering in de leeftijd van een persoon op een foto simuleren, verander een kapsel, voeg een bril, baard of snor toe, laat een foto eruitzien als een stripfiguur of een handgetekende foto, maak een droevige of blije gezichtsuitdrukking.
In dit geval Het systeem kan niet alleen worden getraind om de gezichten van mensen te veranderen, maar ook voor elk object Bijvoorbeeld om autobeelden te bewerken.
De meeste werken die inversie bestuderen, zoeken naar een latente code die een bepaald beeld nauwkeuriger reconstrueert. In recent werk is een fijnafstemming van het beeld van de generatorgewichten voorgesteld om een reconstructie van hoge kwaliteit voor een bepaald doelbeeld te verkrijgen. Met HyperStyle willen we deze benaderingen voor het afstemmen van generatoren naar het rijk van interactieve toepassingen brengen door ze aan te passen aan een op encoders gebaseerde benadering.
We hebben een enkel hypernetwerk getraind om te leren hoe we generatorgewichten kunnen verfijnen ten opzichte van een gewenst doelbeeld. Door deze mapping te leren, voorspelt HyperStyle efficiënt de doelgewichten van de generator in minder dan 2 seconden per afbeelding, waardoor het toepasbaar is op een breed scala aan toepassingen.
De voorgestelde methode heeft tot doel het probleem op te lossen van het reconstrueren van ontbrekende delen van een afbeelding tijdens het bewerken. De hierboven voorgestelde technieken hebben de balans tussen reconstructie en bewerking aangepakt door de imager nauwkeurig af te stemmen om delen van het doelbeeld te vervangen, terwijl bewerkbare gebieden die oorspronkelijk ontbraken opnieuw worden gecreëerd. Het nadeel van dergelijke benaderingen is de behoefte aan gerichte training op lange termijn van het neurale netwerk voor elk beeld.
De methode gebaseerd op het StyleGAN-algoritme maakt het mogelijk om een typisch model te gebruiken, vooraf getraind op gemeenschappelijke verzamelingen afbeeldingen, om karakteristieke elementen van de originele afbeelding te genereren met een betrouwbaarheidsniveau dat vergelijkbaar is met de algoritmen die een individuele training van het model voor elke afbeelding vereisen.
Een van de voordelen van de nieuwe methode is de mogelijkheid om afbeeldingen aan te passen met een prestatie die dicht bij realtime ligt, naast het feit dat het model is klaar om te trainen, voorbereid op die mensen, auto's en dieren op basis van de collecties van Flickr-the Faces-HQ (FFHQ, 70,000 hoogwaardige PNG-afbeeldingen van gezichten van mensen), The Stanford Cars (16 afbeeldingen van auto's) en AFHQ (foto's van dieren).
Bovendien heeft er wordt een set hulpmiddelen meegeleverd om uw modellen te trainenevenals kant-en-klare getrainde modellen van typische encoders en generatoren die geschikt zijn voor gebruik met hen. Er zijn bijvoorbeeld generatoren beschikbaar voor het maken van afbeeldingen in Toonify-stijl, Pixar-personages, het maken van schetsen en zelfs styling zoals Disney-prinsessen.
Eindelijk voor wie meer wil weten Over deze tool kunt u de details controleren: In de volgende link.
Het is ook belangrijk om te vermelden dat de code is geschreven in Python met behulp van het PyTorch-framework en een MIT-licentie heeft. U kunt de code controleren op de volgende link.