最近 NVIDIAはStyleGAN3のソースコードをリリースしました、人間の顔のリアルな画像を合成するための生成的逆ニューラルネットワーク（GAN）に基づく機械学習システム。
StyleGAN3で コレクションでトレーニングされたすぐに使用できるトレーニング済みモデルをダウンロードできます Flickr-Faces-HQ（FFHQ）には、高品質の人間の顔（70×1024）の1024万枚のPNG画像が含まれています。 さらに、AFHQv2（動物の顔の写真）とMetfaces（古典的な絵画の肖像画からの人々の顔の画像）のコレクションに基づいて構築されたモデルがあります。
StyleGAN3について
デザイン 顔に焦点を当てていますが、システムはあらゆるタイプのオブジェクトを生成するようにトレーニングできます。 風景や車のように。 そのうえ、 ニューラルネットワークの自己学習のためのツールが提供されています 独自の画像コレクションを使用します。 XNUMXつ以上のNVIDIAグラフィックカードが必要です （TeslaV100またはA100GPUを推奨）、少なくとも12GBのRAM、PyTorch 1.9、およびCUDA 11.1 + Toolkit。 受信した面の人工的な性質を判断するために、特別な検出器が開発されています。
システム 複数の顔の特徴の補間に基づいて、新しい顔の画像を合成することができます、必要な年齢、性別、髪の長さ、笑顔のキャラクター、鼻の形、肌の色、眼鏡、写真の角度に最終的な画像を適応させることに加えて、それらの固有の機能を組み合わせます。
発生器 画像をスタイルのコレクションとして扱い、特徴的な詳細を自動的に分離します 一般的な高レベルの属性（姿勢、性別、年齢に関連する変化）の（そばかす、髪の毛、眼鏡）であり、重み係数を介して支配的なプロパティの定義と任意に組み合わせることができ、その結果、次のような画像が生成されます。それらは明らかに実際の写真と見分けがつかない。
StyleGANテクノロジーの最初のバージョン（2019年にリリース）、続いて2年にStyleGAN2020の改良バージョン。これにより、画質が向上し、一部のアーティファクトが削除されます。 同時に、システムは静的なままでした。つまり、リアルなアニメーションや顔の動きはできませんでした。 StyleGAN3を開発する際の主な目標は、アニメーションとビデオで使用するためにテクノロジーを適応させることでした。
StyleGAN3は、再設計された非エイリアシングイメージングアーキテクチャを使用しますayは、新しいニューラルネットワークトレーニングシナリオを提供し、インタラクティブな視覚化（visualizer.py）、分析（avg_spectra.py）、およびビデオ生成（gen_video.py）のための新しいユーティリティも含みます。 この実装により、メモリ消費量が削減され、学習プロセスが高速化されます。
StyleGAN3アーキテクチャの重要な機能は、ニューラルネットワーク内のすべての信号を連続プロセスの形で解釈することへの移行でした。これにより、個々のピクセルの絶対座標に縛られることなく、パーツを形成することで相対位置を操作できるようになりました。画像ですが、表現されたオブジェクトの表面に固定されています。
つつ StyleGANおよびStyleGAN2では、ビルド中にピクセルにスナップすると、動的レンダリングで問題が発生しましたたとえば、画像が移動しているときに、しわや髪の毛など、顔の画像の他の部分とは別に移動しているように見える細部の不一致がありました。StyleGAN3の問題に加えて、これらの問題は解決され、テクノロジーはビデオ生成に非常に適しています。
最後に、 言及する価値もあります の発表 最大のMT-NLG言語モデルのNVIDIAとMicrosoftによる作成 「変革的」アーキテクチャを備えたディープニューラルネットワークに基づいています。
モデルは530億のパラメーターをカバーし、4480GPUのプールが使用されました トレーニング用（それぞれ560GBの100つのA8GPUを備えた100台のDGXA80サーバー）。 モデルの適用分野は、未完成の文の完成の予測、質問への回答、読解、自然言語での結論の形成、単語の意味のあいまいさの分析など、自然言語での情報処理問題解決と呼ばれます。
あなたがそれについてもっと知りたいなら、StyleGAN3の詳細を確認できます 次のリンクで。