Uma equipe de Pesquisadores da Universidade de Tel Aviv revelaram recentemente o HyperStyle, qual é uma versão reversa do sistema de aprendizado de máquina NVIDIA StyleGAN2 que foi redesenhado para recriar as peças que faltam ao editar imagens do mundo real.
StyleGAN é caracterizado por permitir sintetizar novos rostos de pessoas com uma aparência realista, definir parâmetros como idade, sexo, comprimento do cabelo, caráter do sorriso, formato do nariz, cor da pele, óculos e ângulo fotográfico.
Além disso, HyperStyle torna possível alterar parâmetros semelhantes em outros existentes, Em outras palavras, permite criar fotografias sem modificar seus traços característicos e preservando a capacidade de reconhecimento da face original.
O HyperStyle apresenta hiper-redes para aprender como refinar os pesos de um gerador StyleGAN previamente treinado em relação a uma determinada imagem de entrada. Isso permite reconstruções de nível de otimização com tempos de inferência semelhantes a codificadores e alta capacidade de edição.
Por exemplo, ao usar HyperStyle, pode simular uma mudança na idade de uma pessoa em uma fotografia, mude um penteado, adicione óculos, barba ou bigode, faça uma imagem parecer um personagem de desenho animado ou uma imagem desenhada à mão, faça uma expressão de rosto triste ou feliz.
Neste caso, O sistema pode ser treinado não apenas para mudar o rosto das pessoas, mas também para qualquer objeto, para Por exemplo, para editar imagens de carros.
A maioria dos trabalhos que estudam inversão busca um código latente que reconstrua com mais precisão uma determinada imagem. Alguns trabalhos recentes propuseram um ajuste fino da imagem dos pesos do gerador para obter uma reconstrução de alta qualidade para uma determinada imagem alvo. Com o HyperStyle, pretendemos trazer essas abordagens de ajuste de gerador para o reino dos aplicativos interativos, adaptando-as a uma abordagem baseada em codificador.
Treinamos uma única hiper-rede para aprender como refinar os pesos do gerador em relação a uma imagem de destino desejada. Ao aprender esse mapeamento, o HyperStyle prevê com eficiência os pesos alvo do gerador em menos de 2 segundos por imagem, tornando-o aplicável a uma ampla gama de aplicações.
O método proposto visa resolver o problema de reconstruir as partes que faltam de uma imagem durante a edição. As técnicas propostas acima abordaram o equilíbrio entre reconstrução e edição, ajustando o gerador de imagens para substituir partes da imagem alvo enquanto recria as regiões editáveis que estavam originalmente ausentes. A desvantagem de tais abordagens é a necessidade de treinamento direcionado de longo prazo da rede neural para cada imagem.
O método baseado no algoritmo StyleGAN permite usar um modelo típico, pré-treinados em coleções comuns de imagens, para gerar elementos característicos da imagem original com um nível de confiança comparável aos algoritmos que requerem um treinamento individual do modelo para cada imagem.
Uma das vantagens do novo método é a possibilidade de modificar imagens com desempenho próximo do tempo real, além do fato de o modelo está pronto para treinar preparado para essas pessoas, carros e animais a partir das coleções do Flickr-the Faces-HQ (FFHQ, 70,000 imagens PNG de alta qualidade de rostos de pessoas), The Stanford Cars (16 imagens de carros) e AFHQ (fotos de animais).
Além disso, um conjunto de ferramentas é fornecido para treinar seus modelosbem como modelos treinados prontos para uso de codificadores e geradores típicos adequados para uso com eles. Por exemplo, existem geradores disponíveis para a criação de imagens no estilo Toonify, personagens da Pixar, criação de esboços e até estilos de princesas da Disney.
Finalmente para quem está interessado em saber mais Sobre esta ferramenta, você pode verificar os detalhes no link a seguir.
Também é importante mencionar que o código é escrito em Python usando o framework PyTorch e é licenciado pelo MIT. Você pode verificar o código em o seguinte link.