팀 텔아비브 대학 연구원들이 최근 HyperStyle을 발표했습니다.입니다. 거꾸로 된 버전 머신 러닝 시스템의 NVIDIA StyleGAN2 실제 이미지를 편집할 때 누락된 부분을 다시 만들 수 있도록 재설계되었습니다.
StyleGAN은 사람의 새로운 얼굴을 사실적인 모습으로 합성할 수 있는 것이 특징이며, 나이, 성별, 머리 길이, 미소 캐릭터, 코 모양, 피부색, 안경 및 사진 각도와 같은 매개변수를 설정합니다.
또한, HyperStyle을 사용하면 기존 매개변수에서 유사한 매개변수를 변경할 수 있으며, 즉, 사진의 특징을 수정하지 않고 원본 얼굴의 인식 가능성을 유지하면서 사진을 만들 수 있습니다.
HyperStyle은 주어진 입력 이미지를 기준으로 이전에 훈련된 StyleGAN 생성기의 가중치를 조정하는 방법을 배우기 위해 하이퍼네트워크를 도입합니다. 이렇게 하면 인코더와 같은 추론 시간과 높은 편집 가능성으로 최적화 수준을 재구축할 수 있습니다.
예를 들어 사용할 때 HyperStyle은 사진에서 사람의 나이 변화를 시뮬레이션할 수 있습니다., 헤어스타일 변경, 안경, 수염 또는 콧수염 추가, 그림을 만화 캐릭터 또는 손으로 그린 그림처럼 보이게 만들기, 슬프거나 행복한 얼굴 표정 만들기.
이 경우, 이 시스템은 사람의 얼굴을 바꾸도록 훈련할 수 있을 뿐만 아니라 모든 사물에 대해서도 훈련할 수 있습니다. 예를 들어 자동차 이미지를 편집합니다.
반전을 연구하는 대부분의 작업은 주어진 이미지를 보다 정확하게 재구성하는 잠재 코드를 찾습니다. 일부 최근 연구에서는 주어진 대상 이미지에 대해 고품질 재구성을 달성하기 위해 생성기 가중치의 이미지 미세 조정을 제안했습니다. HyperStyle을 통해 우리는 인코더 기반 접근 방식에 적용하여 이러한 생성기 튜닝 접근 방식을 대화형 응용 프로그램 영역으로 가져오는 것을 목표로 합니다.
우리는 단일 하이퍼네트워크를 훈련하여 원하는 대상 이미지와 관련하여 생성기 가중치를 조정하는 방법을 학습했습니다. 이 매핑을 학습함으로써 HyperStyle은 이미지당 2초 미만으로 생성기 목표 가중치를 효율적으로 예측하여 광범위한 애플리케이션에 적용할 수 있습니다.
제안 된 방법 편집하는 동안 이미지의 누락된 부분을 재구성하는 문제를 해결하는 것을 목표로 합니다.. 위에서 제안한 기술은 원래 누락된 편집 가능한 영역을 재생성하면서 대상 이미지의 일부를 대체하도록 이미저를 미세 조정하여 재구성과 편집 간의 균형을 해결했습니다. 이러한 접근 방식의 단점은 각 이미지에 대한 신경망의 장기 목표 훈련이 필요하다는 것입니다.
StyleGAN 알고리즘을 기반으로 하는 방법을 사용하면 일반적인 모델을 사용할 수 있으며, 각 이미지에 대한 모델의 개별 교육이 필요한 알고리즘에 필적하는 수준의 신뢰도로 원본 이미지의 특성 요소를 생성하기 위해 공통 이미지 컬렉션에 대해 사전 학습됩니다.
새로운 방법의 장점 중 하나는 실시간에 가까운 성능으로 이미지를 수정할 수 있다는 것입니다. 모델은 컬렉션을 기반으로 사람, 자동차 및 동물을 위해 준비된 훈련 준비가되었습니다. Flickr-the Faces-HQ(FFHQ, 사람 얼굴의 고품질 PNG 이미지 70,000개), Stanford Cars(자동차 이미지 16개) 및 AFHQ(동물 사진)에서 제공합니다.
또한, 모델 훈련을 위한 도구 세트가 제공됩니다.뿐만 아니라 사용하기에 적합한 일반적인 인코더 및 생성기의 즉시 사용 가능한 훈련된 모델을 제공합니다. 예를 들어 Toonify 스타일 이미지, Pixar 캐릭터, 스케치 생성, 심지어 디즈니 공주 같은 스타일링에 사용할 수 있는 생성기가 있습니다.
최종적으로 더 알고 싶은 분들을 위해 이 도구에 대해 세부 사항을 확인할 수 있습니다 다음 링크에서.
또한 코드가 PyTorch 프레임워크를 사용하여 Python으로 작성되었으며 MIT 라이선스가 있다는 점을 언급하는 것도 중요합니다. 에서 코드를 확인할 수 있습니다. 다음 링크.