Команда Исследователи Тель-Авивского университета недавно представили HyperStyle, который обратная версия системы машинного обучения NVIDIA StyleGAN2 который был переработан, чтобы воссоздать недостающие части при редактировании изображений реального мира.
StyleGAN отличается тем, что позволяет синтезировать новые лица людей с реалистичной внешностью, установка таких параметров, как возраст, пол, длина волос, характер улыбки, форма носа, цвет кожи, очки и угол съемки.
Кроме того, HyperStyle позволяет изменять аналогичные параметры в уже существующих, Другими словами, он позволяет создавать фотографии без изменения их характерных черт и с сохранением узнаваемости исходного лица.
HyperStyle представляет гиперсети, чтобы узнать, как уточнить веса ранее обученного генератора StyleGAN относительно заданного входного изображения. Это позволяет перестроить уровень оптимизации с временем вывода, аналогичным кодировщику, и высокой редактируемостью.
Например, при использовании HyperStyle, может имитировать изменение возраста человека на фотографии, изменить прическу, добавить очки, бороду или усы, сделать картинку похожей на мультяшного персонажа или нарисованную от руки картинку, сделать лицо грустным или счастливым.
В этом случае, Систему можно обучить не только менять лица людей, но и для любого объекта, для Например, для редактирования изображений автомобилей.
Большинство работ, изучающих инверсию, ищут скрытый код, который более точно реконструирует данное изображение. В некоторых недавних работах предложена точная настройка весов генератора для достижения высококачественной реконструкции заданного целевого изображения. С HyperStyle наша цель - перенести эти подходы к настройке генератора в область интерактивных приложений, адаптируя их к подходу на основе кодировщика.
Мы обучили одиночную гиперсеть, чтобы узнать, как уточнить веса генератора относительно желаемого целевого изображения. Изучая это сопоставление, HyperStyle эффективно прогнозирует целевые веса генератора менее чем за 2 секунды для каждого изображения, что делает его применимым к широкому спектру приложений.
Предлагаемый способ направлена на решение проблемы восстановления недостающих частей изображения при редактировании. Ранее предложенные методы обращались к балансу между реконструкцией и редактированием путем точной настройки формирователя изображения для замены частей целевого изображения при воссоздании редактируемых областей, которые изначально отсутствовали. Обратной стороной таких подходов является необходимость длительного целевого обучения нейронной сети для каждого изображения.
Метод, основанный на алгоритме StyleGAN, позволяет использовать типичную модель, предварительно обучены на общих коллекциях изображений, чтобы генерировать характерные элементы исходного изображения с уровнем достоверности, сопоставимым с алгоритмами, которые требуют индивидуального обучения модели для каждого изображения.
Одним из преимуществ нового метода является возможность изменять изображения с производительностью, близкой к реальному времени, в дополнение к тому, что модель готова к тренировке подготовлена для тех людей, машин и животных на основе коллекций из Flickr-the Faces-HQ (FFHQ, 70,000 16 высококачественных изображений людей в формате PNG), The Stanford Cars (XNUMX XNUMX изображений автомобилей) и AFHQ (фотографии животных).
Кроме того, предоставляется набор инструментов для обучения ваших моделейа также готовые обученные модели типичных кодировщиков и генераторов, подходящие для использования с ними. Например, доступны генераторы для создания изображений в стиле Toonify, персонажей Pixar, создания эскизов и даже стилизации, как у принцесс Диснея.
В конце концов для тех, кому интересно узнать больше Об этом инструменте вы можете узнать подробнее По следующей ссылке.
Также важно отметить, что код написан на Python с использованием фреймворка PyTorch и имеет лицензию MIT. Вы можете проверить код на по следующей ссылке.