Ein Team von Forscher der Universität Tel Aviv haben kürzlich HyperStyle vorgestellt, was ist eine umgekehrte Version des maschinellen Lernsystems NVIDIA StyleGAN2 die neu gestaltet wurde, um fehlende Teile beim Bearbeiten von Bildern aus der realen Welt wiederherzustellen.
StyleGAN zeichnet sich dadurch aus, dass es ermöglicht, neue Gesichter von Menschen mit einem realistischen Erscheinungsbild zu synthetisieren, Einstellparameter wie Alter, Geschlecht, Haarlänge, Lächelncharakter, Nasenform, Hautfarbe, Brille und Aufnahmewinkel.
Ferner HyperStyle ermöglicht es, ähnliche Parameter in bestehenden zu ändern, Mit anderen Worten, es ermöglicht Ihnen, Fotos zu erstellen, ohne ihre charakteristischen Merkmale zu ändern und die Erkennbarkeit des ursprünglichen Gesichts zu erhalten.
HyperStyle führt Hypernetzwerke ein, um zu lernen, wie man die Gewichte eines zuvor trainierten StyleGAN-Generators relativ zu einem gegebenen Eingabebild verfeinert. Dadurch werden Optimierungsstufen-Neuaufbauten mit Encoder-ähnlichen Inferenzzeiten und hoher Editierbarkeit ermöglicht.
Zum Beispiel bei der Verwendung von HyperStyle, kann eine Veränderung des Alters einer Person auf einem Foto simulieren, eine Frisur ändern, eine Brille, einen Bart oder Schnurrbart hinzufügen, ein Bild wie eine Zeichentrickfigur oder ein handgezeichnetes Bild aussehen lassen, einen traurigen oder glücklichen Gesichtsausdruck machen.
versichern zu lassen. In diesem Fall ist Das System kann nicht nur darauf trainiert werden, das Gesicht von Personen zu verändern, sondern auch für jedes Objekt, z Zum Beispiel, um Autobilder zu bearbeiten.
Die meisten Arbeiten, die die Inversion untersuchen, suchen nach einem latenten Code, der ein gegebenes Bild genauer rekonstruiert. Einige neuere Arbeiten haben eine Bildfeinabstimmung von Generatorgewichtungen vorgeschlagen, um eine Rekonstruktion hoher Qualität für ein gegebenes Zielbild zu erreichen. Mit HyperStyle ist es unser Ziel, diese Generator-Tuning-Ansätze in den Bereich interaktiver Anwendungen zu bringen, indem wir sie an einen Encoder-basierten Ansatz anpassen.
Wir haben ein einzelnes Hypernetzwerk trainiert, um zu lernen, wie Generatorgewichtungen relativ zu einem gewünschten Zielbild verfeinert werden. Durch das Erlernen dieses Mappings sagt HyperStyle die Zielgewichte des Generators in weniger als 2 Sekunden pro Bild effizient voraus, wodurch es auf eine Vielzahl von Anwendungen anwendbar ist.
Die vorgeschlagene Methode zielt darauf ab, das Problem zu lösen, fehlende Teile eines Bildes während der Bearbeitung zu rekonstruieren. Die zuvor vorgeschlagenen Techniken haben das Gleichgewicht zwischen Rekonstruktion und Editierung durch Feinabstimmung des Bildgebers angegangen, um Teile des Zielbildes zu ersetzen, während bearbeitbare Bereiche wiederhergestellt werden, die ursprünglich fehlten. Die Kehrseite solcher Ansätze ist die Notwendigkeit eines langfristigen gezielten Trainings des neuronalen Netzes für jedes Bild.
Die auf dem StyleGAN-Algorithmus basierende Methode ermöglicht die Verwendung eines typischen Modells, auf gemeinsamen Bildsammlungen vortrainiert, um charakteristische Elemente des Originalbilds mit einem Vertrauensniveau zu erzeugen, das mit Algorithmen vergleichbar ist, die ein individuelles Training des Modells für jedes Bild erfordern.
Einer der Vorteile der neuen Methode ist die Möglichkeit, Bilder mit einer Leistung nahezu in Echtzeit zu modifizieren, zusätzlich zu der Tatsache, dass das Modell ist bereit für das Training von Menschen, Autos und Tieren basierend auf den Kollektionen von Flickr-the Faces-HQ (FFHQ, 70,000 hochwertige PNG-Bilder von Gesichtern), The Stanford Cars (16 Bilder von Autos) und AFHQ (Fotos von Tieren).
Zusätzlich Es wird eine Reihe von Tools zum Trainieren Ihrer Modelle bereitgestelltsowie gebrauchsfertig trainierte Modelle typischer Encoder und Generatoren, die für den Einsatz damit geeignet sind. Es gibt beispielsweise Generatoren zum Erstellen von Bildern im Toonify-Stil, Pixar-Charakteren, Erstellen von Skizzen und sogar Styling wie Disney-Prinzessinnen.
Schließlich für alle die mehr wissen wollen Über dieses Tool können Sie die Details überprüfen im folgenden Link.
Es ist auch wichtig zu erwähnen, dass der Code in Python unter Verwendung des PyTorch-Frameworks geschrieben und MIT-lizenziert ist. Sie können den Code unter einsehen den folgenden Link.