のチーム テルアビブ大学の研究者は最近HyperStyleを発表しました、これは 逆バージョン 機械学習システムの NVIDIA StyleGAN2 これは、現実世界の画像を編集するときに欠落している部分を再現するように再設計されました。
StyleGANは、リアルな外観で人々の新しい顔を合成できることを特徴としています。 年齢、性別、髪の長さ、笑顔のキャラクター、鼻の形、肌の色、眼鏡、写真の角度などのパラメータを設定します。
さらに、 HyperStyleを使用すると、既存のパラメーターの同様のパラメーターを変更できます。 つまり、特徴を変えたり、元の顔の認識性を維持したりすることなく、写真を作成することができます。
HyperStyleは、ハイパーネットワークを導入して、特定の入力画像に対して以前にトレーニングされたStyleGANジェネレーターの重みを調整する方法を学習します。 そうすることで、エンコーダーのような推論時間と高い編集性を備えた最適化レベルの再構築が可能になります。
たとえば、使用する場合 HyperStyleは、写真に写っている人の年齢の変化をシミュレートできます、髪型を変えたり、眼鏡、あごひげや口ひげを追加したり、漫画のキャラクターや手描きの絵のように見せたり、悲しい顔や幸せな顔の表情を作ったりします。
この場合、 このシステムは、人々の顔を変えるだけでなく、あらゆるオブジェクトに対してもトレーニングすることができます。 たとえば、車の画像を編集します。
反転を研究するほとんどの作品は、与えられた画像をより正確に再構築する潜在コードを探します。 最近のいくつかの研究では、特定のターゲット画像に対して高品質の再構成を実現するために、ジェネレータの重みの画像微調整が提案されています。 HyperStyleの目標は、これらのジェネレーター調整アプローチをエンコーダーベースのアプローチに適合させることにより、インタラクティブアプリケーションの領域にもたらすことです。
単一のハイパーネットワークをトレーニングして、目的のターゲット画像に対してジェネレータの重みを調整する方法を学習しました。 このマッピングを学習することにより、HyperStyleは、画像ごとに2秒未満でジェネレーターのターゲットの重みを効率的に予測し、幅広いアプリケーションに適用できるようにします。
提案手法 編集中に画像の欠落部分を再構築する問題を解決することを目的としています。 上で提案された技術は、元々欠落していた編集可能な領域を再作成しながら、ターゲット画像の一部を置き換えるためにイメージャを微調整することにより、再構成と編集のバランスに対処しました。 このようなアプローチの欠点は、各画像のニューラルネットワークの長期的なターゲットトレーニングが必要なことです。
StyleGANアルゴリズムに基づく方法では、一般的なモデルを使用できます。 画像の一般的なコレクションで事前トレーニングされ、各画像のモデルの個別のトレーニングを必要とするアルゴリズムに匹敵する信頼水準で元の画像の特徴的な要素を生成します。
新しい方法の利点のXNUMXつは、リアルタイムに近いパフォーマンスで画像を変更できることです。 モデルは、コレクションに基づいてそれらの人々、車、動物のために準備された訓練の準備ができています Flickr-the Faces-HQ（FFHQ、人々の顔の70,000枚の高品質PNG画像）、Stanford Cars（16枚の車の画像）、AFHQ（動物の写真）から。
さらに、 モデルをトレーニングするためのツールセットが提供されていますまた、それらでの使用に適した一般的なエンコーダーとジェネレーターのすぐに使用できるトレーニング済みモデル。 たとえば、Toonifyスタイルの画像、Pixarキャラクターの作成、スケッチの作成、さらにはディズニープリンセスのようなスタイリングに使用できるジェネレーターがあります。
最後に もっと知りたい方へ このツールについては、詳細を確認できます 次のリンクで。
また、コードはPyTorchフレームワークを使用してPythonで記述されており、MITライセンスを取得していることにも注意してください。 あなたはでコードをチェックすることができます 次のリンク。