Екип от Изследователи от университета в Тел Авив наскоро представиха HyperStyle, кое е обърната версия на системата за машинно обучение NVIDIA StyleGAN2 който е преработен, за да пресъздаде липсващи части при редактиране на изображения от реалния свят.
StyleGAN се характеризира с това, че позволява да се синтезират нови лица на хора с реалистичен външен вид, настройка на параметри като възраст, пол, дължина на косата, характер на усмивката, форма на носа, цвят на кожата, очила и фотографски ъгъл.
Освен това, HyperStyle дава възможност за промяна на подобни параметри в съществуващите, С други думи, той ви позволява да създавате снимки, без да променяте характерните им черти и да запазвате разпознаваемостта на оригиналното лице.
HyperStyle въвежда хипермрежи, за да научите как да прецизирате теглата на предварително обучен StyleGAN генератор спрямо дадено входно изображение. Това позволява повторно изграждане на ниво на оптимизация с времена за извеждане, подобни на енкодер, и висока възможност за редактиране.
Например, когато използвате HyperStyle, може да симулира промяна във възрастта на човек на снимка, сменете прическата, добавете очила, брада или мустаци, направете картината да изглежда като анимационен герой или ръчно нарисувана картина, направете тъжно или щастливо изражение на лицето.
В този случай, Системата може да бъде обучена не само за промяна на лицата на хората, но и за всеки обект, за Например за редактиране на изображения на автомобили.
Повечето от произведенията, които изучават инверсията, търсят скрит код, който по-точно реконструира дадено изображение. Някои скорошни разработки предлагат фина настройка на теглата на генератора за постигане на висококачествена реконструкция за дадено целево изображение. С HyperStyle нашата цел е да донесем тези подходи за настройка на генератора в сферата на интерактивните приложения, като ги адаптираме към подход, базиран на енкодер.
Обучихме една хипермрежа, за да научим как да прецизираме теглата на генератора спрямо желаното целево изображение. Изучавайки това картографиране, HyperStyle ефективно прогнозира целеви тегла на генератора за по-малко от 2 секунди на изображение, което го прави приложим за широк спектър от приложения.
Предложеният метод има за цел да реши проблема с реконструкцията на липсващи части от изображение по време на редактиране. Предложените по-горе техники се занимават с баланса между реконструкция и редактиране чрез фина настройка на изображението, за да замени части от целевото изображение, като същевременно пресъздават редактируеми региони, които първоначално липсваха. Недостатъкът на подобни подходи е необходимостта от дългосрочно целенасочено обучение на невронната мрежа за всяко изображение.
Методът, базиран на алгоритъма StyleGAN, позволява да се използва типичен модел, предварително обучени върху общи колекции от изображения, за да генерират характерни елементи на оригиналното изображение с ниво на увереност, сравнимо с алгоритмите, които изискват индивидуално обучение на модела за всяко изображение.
Едно от предимствата на новия метод е възможността за модифициране на изображения с производителност, близка до реално време, в допълнение към факта, че моделът е готов за обучение, подготвен за тези хора, коли и животни на базата на колекциите от Flickr-the Faces-HQ (FFHQ, 70,000 16 висококачествени PNG изображения на лица на хора), The Stanford Cars (XNUMX XNUMX изображения на автомобили) и AFHQ (снимки на животни).
Освен това, Осигурен е набор от инструменти за обучение на вашите моделикакто и готови за употреба обучени модели на типични енкодери и генератори, подходящи за използване с тях. Например, има налични генератори за създаване на изображения в стил Toonify, герои на Pixar, създаване на скици и дори стилизиране като принцеси на Дисни.
Накрая за тези, които се интересуват да знаят повече За този инструмент можете да проверите подробностите В следващия линк.
Също така е важно да се спомене, че кодът е написан на Python с помощта на рамката PyTorch и е лицензиран от MIT. Можете да проверите кода на следната връзка.