Команда Дослідники Тель-Авівського університету нещодавно представили HyperStyle, який є перевернута версія системи машинного навчання NVIDIA StyleGAN2 який був перероблений для відтворення відсутніх частин під час редагування зображень реального світу.
StyleGAN характеризується тим, що дозволяє синтезувати нові обличчя людей з реалістичною зовнішністю, налаштування таких параметрів, як вік, стать, довжина волосся, характер посмішки, форма носа, колір шкіри, окуляри та ракурс фотографування.
Крім того, HyperStyle дає можливість змінювати подібні параметри в існуючих, Іншими словами, це дозволяє створювати фотографії, не змінюючи їх характерних рис і зберігаючи впізнаваність оригінального обличчя.
HyperStyle представляє гіпермережі, щоб дізнатися, як уточнювати ваги попередньо навченого генератора StyleGAN щодо заданого вхідного зображення. Це дає змогу перебудувати рівень оптимізації з часом виведення, подібним до кодера, і високою можливістю редагування.
Наприклад, при використанні HyperStyle, може імітувати зміну віку людини на фотографії, змінити зачіску, додати окуляри, бороду або вуса, зробити малюнок схожим на мультфільму або намальовану картинку, зробити сумний або щасливий вираз обличчя.
У цьому випадку, Систему можна навчити не тільки змінювати обличчя людей, але і будь-який об'єкт, для Наприклад, для редагування зображень автомобілів.
Більшість робіт, що вивчають інверсію, шукають латентний код, який точніше реконструює задане зображення. Деякі нещодавні роботи запропонували точне налаштування ваг генераторів для досягнення високоякісної реконструкції для заданого цільового зображення. З HyperStyle наша мета полягає в тому, щоб перенести ці підходи до налаштування генераторів у сферу інтерактивних програм, адаптувавши їх до підходу на основі кодера.
Ми навчили одну гіпермережу, щоб навчитися уточнювати ваги генератора щодо бажаного цільового зображення. Вивчивши це відображення, HyperStyle ефективно прогнозує цільові ваги генератора менш ніж за 2 секунди на зображення, що робить його застосовним до широкого кола додатків.
Пропонований спосіб має на меті вирішення проблеми відновлення відсутніх частин зображення під час редагування. Методики, запропоновані вище, стосуються балансу між реконструкцією та редагуванням шляхом точного налаштування зображення для заміни частин цільового зображення при відтворенні областей, які можна редагувати, які спочатку були відсутні. Мінусом таких підходів є необхідність тривалого цілеспрямованого навчання нейронної мережі для кожного зображення.
Метод на основі алгоритму StyleGAN дозволяє використовувати типову модель, попередньо навчені на загальних колекціях зображень, щоб генерувати характерні елементи вихідного зображення з рівнем достовірності, порівнянним з алгоритмами, які вимагають індивідуального навчання моделі для кожного зображення.
Однією з переваг нового методу є можливість модифікувати зображення з продуктивністю, близькою до реального часу, крім того, що модель готова до навчання, підготовленої для тих людей, автомобілів і тварин на основі колекцій від Flickr-the Faces-HQ (FFHQ, 70,000 16 високоякісних PNG-зображень облич людей), The Stanford Cars (XNUMX XNUMX зображень автомобілів) і AFHQ (фотографії тварин).
Крім того, надається набір інструментів для навчання ваших моделейа також готові до використання навчені моделі типових кодерів і генераторів, придатних для використання з ними. Наприклад, доступні генератори для створення зображень у стилі Toonify, персонажів Pixar, створення ескізів і навіть стилізації, як принцес Діснея.
В кінці кінців для тих, кому цікаво дізнатися більше Про цей інструмент ви можете перевірити деталі У наступному посиланні.
Також важливо зазначити, що код написаний на Python з використанням фреймворку PyTorch і має ліцензію MIT. Ви можете перевірити код за адресою за наступним посиланням.