Faz pouco OpenAI, empresa de pesquisa de inteligência artificial sem fins lucrativos tornou conhecido através de uma publicação ferramentas de moderação de conteúdo Novo e aprimorado (ferramentas de moderação de conteúdo), que ele menciona são mais precisos e destinam-se a ajudar os desenvolvedores de API a proteger seus aplicativos.
A equipe de pesquisa da OpenAI anunciou uma atualização para sua ferramenta gratuita de moderação de conteúdo que agora está disponível para todos os desenvolvedores.
Ponto de extremidade de moderação permite o acesso por meio de uma interface de programação de aplicativos aos classificadores baseados em transformador pré-treinados generativos da OpenAI, o que são modelos de IA que foram treinados para detectar conteúdo indesejado em aplicativos, disse a empresa em um post no blog. Esses classificadores detectam qualquer conteúdo desnecessário nos aplicativos.
A empresa impôs esta atualização para um desempenho robusto em uma ampla gama de aplicações, incluindo redes sociais, sistemas de mensagens e chatbots de IA.
Depois de fornecer um texto de entrada, O endpoint de moderação analisa o conteúdo como discurso de ódio, conteúdo sexual, linguagem abusiva, etc., sejam filtrados. Bloquear todo o conteúdo (gerado pela API OpenAI) que vai contra a política de conteúdo OpenAI. Além disso, o endpoint também pode remover e bloquear conteúdo nocivo gerado por humanos.
O endpoint foi treinado para ser rápido, preciso e robusto em uma variedade de aplicações. É importante ressaltar que isso reduz as chances de os produtos "falarem" a coisa errada, mesmo quando lançados para os usuários em escala. Como consequência, a IA pode liberar benefícios em ambientes sensíveis, como educação, onde não poderia ser usada com confiança.
A versão aprimorada do endpoint de moderação projetado para ser rápido, preciso e robusto em vários tipos de aplicativos, incluindo chatbots com inteligência artificial, sistemas de mensagens e sites de redes sociais.
É importante ressaltar que o OpenAI disse que reduz significativamente as chances de um modelo de IA "dizer" a coisa errada. Isso significa que a IA pode ser usada em ambientes mais sensíveis, como aplicativos educacionais, onde as pessoas podem ter dúvidas sobre a implementação da tecnologia.
Cabe mencionar que a ferramenta é gratuita quando utilizada com conteúdo gerado pela API OpenAI. Além de moderar bots, você também pode bloquear conteúdo prejudicial gerado não por APIs OpenAI, mas por humanos. A plataforma de mensagens anônimas NGL, que fornece uma plataforma para os jovens compartilharem seus sentimentos e opiniões, usa a ferramenta OpenAI para detectar discurso de ódio e assédio. A NGL disse que a ferramenta tem a capacidade única de generalizar em torno da gíria mais recente, permitindo que ela corresponda à evolução da linguagem usada por adolescentes, por exemplo.
Também é importante mencionar que, no caso de tráfego não API, o endpoint de moderação está sujeito a uma taxa.
Como parte do compromisso da OpenAI de tornar o ecossistema de IA mais seguro, fornecemos esse endpoint para permitir a moderação gratuita de todo o conteúdo gerado pela API OpenAI. Por exemplo, o Inworld, um cliente da API OpenAI, usa o endpoint de moderação para ajudar seus personagens virtuais baseados em IA a "permanecer no script". Ao alavancar a tecnologia OpenAI, a Inworld pode se concentrar em seu principal produto: criar personagens memoráveis.
OpenAI disse que os desenvolvedores já podem começar a usá-lo consultando sua documentação. Também publicou um documento detalhando seu processo de treinamento e desempenho, juntamente com um conjunto de dados de avaliação que, segundo ele, inspirará mais pesquisas na área de moderação com inteligência artificial.
Finalmente se você estiver interessado em saber mais sobre isso, você pode verificar os detalhes em o seguinte link.