Attrezzatura I ricercatori dell'Università di Tel Aviv hanno recentemente presentato HyperStyle, che è una versione invertita del sistema di apprendimento automatico NVIDIA StyleGAN2 che è stato riprogettato per ricreare i pezzi mancanti durante la modifica delle immagini del mondo reale.
StyleGAN è caratterizzato dal permettere di sintetizzare nuovi volti di persone con un aspetto realistico, impostazione di parametri come età, sesso, lunghezza dei capelli, carattere del sorriso, forma del naso, colore della pelle, occhiali e angolazione fotografica.
Inoltre, HyperStyle permette di modificare parametri simili in quelli esistenti, In altre parole, permette di realizzare fotografie senza modificarne i tratti caratteristici e preservando la riconoscibilità del volto originario.
HyperStyle introduce le iperreti per imparare a perfezionare i pesi di un generatore StyleGAN precedentemente addestrato rispetto a una determinata immagine di input. Ciò consente di ricostruire il livello di ottimizzazione con tempi di inferenza simili a codificatori e un'elevata modificabilità.
Ad esempio, quando si utilizza HyperStyle, può simulare un cambiamento nell'età di una persona in una fotografia, cambia un'acconciatura, aggiungi occhiali, barba o baffi, fai sembrare un'immagine un personaggio dei cartoni animati o un'immagine disegnata a mano, fai un'espressione triste o felice.
In questo caso, Il sistema può essere addestrato non solo per cambiare i volti delle persone, ma anche per qualsiasi oggetto, per Ad esempio, per modificare le immagini delle auto.
La maggior parte dei lavori che studiano l'inversione cercano un codice latente che ricostruisca in modo più accurato una data immagine. Alcuni lavori recenti hanno proposto la messa a punto dell'immagine dei pesi del generatore per ottenere una ricostruzione di alta qualità per una determinata immagine di destinazione. Con HyperStyle, miriamo a portare questi approcci di ottimizzazione del generatore nel regno delle applicazioni interattive adattandoli a un approccio basato su encoder.
Abbiamo addestrato una singola iperrete per imparare a perfezionare i pesi del generatore rispetto a un'immagine target desiderata. Apprendendo questa mappatura, HyperStyle prevede in modo efficiente i pesi target del generatore in meno di 2 secondi per immagine, rendendolo applicabile a un'ampia gamma di applicazioni.
Il metodo proposto mira a risolvere il problema della ricostruzione di parti mancanti di un'immagine durante l'editing. Le tecniche proposte sopra hanno affrontato l'equilibrio tra ricostruzione e modifica mettendo a punto l'imager per sostituire parti dell'immagine di destinazione ricreando le regioni modificabili originariamente mancanti. Lo svantaggio di tali approcci è la necessità di un addestramento mirato a lungo termine della rete neurale per ogni immagine.
Il metodo basato sull'algoritmo StyleGAN permette di utilizzare un modello tipico, preaddestrato su comuni raccolte di immagini, per generare elementi caratteristici dell'immagine originale con un livello di confidenza paragonabile agli algoritmi che richiedono un addestramento individuale del modello per ogni immagine.
Uno dei vantaggi del nuovo metodo è la possibilità di modificare le immagini con una performance prossima al tempo reale, oltre al fatto che il modello è pronto per allenarsi preparato per quelle persone, auto e animali in base alle collezioni da Flickr-the Faces-HQ (FFHQ, 70,000 immagini PNG di alta qualità di volti di persone), The Stanford Cars (16 immagini di auto) e AFHQ (foto di animali).
Inoltre, viene fornito un set di strumenti per addestrare i tuoi modellicosì come modelli addestrati pronti per l'uso di encoder e generatori tipici adatti per l'uso con essi. Ad esempio, sono disponibili generatori per creare immagini in stile Toonify, personaggi Pixar, creare schizzi e persino stili come le principesse Disney.
Infine per chi è interessato a saperne di più A proposito di questo strumento, puoi controllare i dettagli nel seguente link
È anche importante ricordare che il codice è scritto in Python utilizzando il framework PyTorch ed è autorizzato dal MIT. Puoi controllare il codice su il seguente collegamento.