Bir takım Tel Aviv Üniversitesi araştırmacıları yakın zamanda HyperStyle'ı açıkladı, hangisi tersine çevrilmiş bir versiyon makine öğrenimi sisteminin NVIDIA StilGAN2 gerçek dünya görüntülerini düzenlerken eksik parçaları yeniden oluşturmak için yeniden tasarlandı.
StyleGAN, gerçekçi bir görünüme sahip insanların yeni yüzlerini sentezlemeye izin vermesiyle karakterize edilir, yaş, cinsiyet, saç uzunluğu, gülümseme karakteri, burun şekli, ten rengi, gözlük ve fotoğraf açısı gibi parametreleri ayarlama.
Ayrıca, HyperStyle, mevcut olanlarda benzer parametreleri değiştirmeyi mümkün kılar, Başka bir deyişle, karakteristik özelliklerini değiştirmeden ve orijinal yüzün tanınabilirliğini koruyarak fotoğraflar oluşturmanıza olanak tanır.
HyperStyle, önceden eğitilmiş bir StyleGAN oluşturucunun ağırlıklarının belirli bir giriş görüntüsüne göre nasıl iyileştirileceğini öğrenmek için hiper ağlar sunar. Bunu yapmak, kodlayıcı benzeri çıkarım süreleri ve yüksek düzenlenebilirlik ile optimizasyon düzeyinde yeniden oluşturmaları mümkün kılar.
Örneğin, kullanırken HyperStyle, bir fotoğrafta bir kişinin yaşında bir değişikliği simüle edebilir, saç stilini değiştir, gözlük, sakal veya bıyık ekle, resmi çizgi film karakteri veya elle çizilmiş resim gibi göster, üzgün veya mutlu bir yüz ifadesi yap.
Bu durumda, Sistem sadece insanların yüzlerini değiştirmek için değil, aynı zamanda herhangi bir nesne için de eğitilebilir. Örneğin, araba resimlerini düzenlemek için.
Tersine çevirmeyi inceleyen çalışmaların çoğu, belirli bir görüntüyü daha doğru bir şekilde yeniden yapılandıran gizli bir kod arar. Bazı yeni çalışmalar, belirli bir hedef görüntü için yüksek kaliteli yeniden yapılandırma elde etmek için jeneratör ağırlıklarının görüntü ince ayarını önerdi. HyperStyle ile amacımız, bu jeneratör ayarlama yaklaşımlarını kodlayıcı tabanlı bir yaklaşıma uyarlayarak etkileşimli uygulamalar alanına getirmektir.
İstenen bir hedef görüntüye göre oluşturucu ağırlıklarının nasıl iyileştirileceğini öğrenmek için tek bir hiper ağ eğittik. HyperStyle, bu eşlemeyi öğrenerek, görüntü başına 2 saniyeden daha kısa sürede oluşturucu hedef ağırlıklarını verimli bir şekilde tahmin ederek çok çeşitli uygulamalara uygulanabilir hale getirir.
Önerilen yöntem düzenleme sırasında bir görüntünün eksik kısımlarını yeniden oluşturma problemini çözmeyi amaçlar.. Yukarıda önerilen teknikler, orijinal olarak eksik olan düzenlenebilir bölgeleri yeniden oluştururken hedef görüntünün bölümlerini değiştirmek için görüntüleyicide ince ayar yaparak yeniden oluşturma ve düzenleme arasındaki dengeyi ele almıştır. Bu tür yaklaşımların dezavantajı, her görüntü için sinir ağının uzun vadeli hedefli eğitimi ihtiyacıdır.
StyleGAN algoritmasına dayanan yöntem, tipik bir modelin kullanılmasına izin verir, Her görüntü için modelin ayrı ayrı eğitimini gerektiren algoritmalarla karşılaştırılabilir bir güven düzeyiyle orijinal görüntünün karakteristik öğelerini oluşturmak için ortak görüntü koleksiyonları üzerinde önceden eğitilmiştir.
Yeni yöntemin avantajlarından biri, gerçek zamana yakın bir performansla görüntüleri değiştirme yeteneğidir. Model, koleksiyonlara dayalı olarak bu insanlar, arabalar ve hayvanlar için hazırlanmış eğitime hazırdır. Flickr-the Faces-HQ (FFHQ, insan yüzlerinin 70,000 yüksek kaliteli PNG görüntüsü), The Stanford Cars (16 araba görüntüsü) ve AFHQ'dan (hayvan fotoğrafları).
Buna ek olarak, modellerinizi eğitmek için bir dizi araç sağlanmıştıryanı sıra, onlarla kullanıma uygun tipik kodlayıcıların ve jeneratörlerin kullanıma hazır eğitimli modelleri. Örneğin, Toonify tarzı görüntüler, Pixar karakterleri, eskizler oluşturmak ve hatta Disney prensesleri gibi stil oluşturmak için kullanılabilecek jeneratörler var.
Nihayet daha fazlasını öğrenmek isteyenler için Bu araç hakkında detayları kontrol edebilirsiniz. Aşağıdaki bağlantıda.
Kodun Python'da PyTorch çerçevesi kullanılarak yazıldığını ve MIT lisanslı olduğunu da belirtmekte fayda var. adresinden kodu kontrol edebilirsiniz. aşağıdaki bağlantı.