fa poc OpenAI, la companyia d'investigació d'intel·ligència artificial sense ànim de lucre, va donar a conèixer mitjançant una publicació les eines de moderació de contingut noves i millorades (Content Moderation Tooling), que esmenta que són més precises i que estan destinades a ajudar els desenvolupadors d'API a protegir les seves aplicacions.
L'equip de recerca OpenAI va anunciar actualització de la seva eina gratuïta de moderació de contingut esmenta que ja està disponible per a tots els desenvolupadors.
Moderation endpoint permet l'accés a través d'una interfície de programació d'aplicacions als classificadors basats en transformadors preentrenats generatius d'OpenAI, que són models d'IA que han estat entrenats per detectar contingut no desitjat a les aplicacions, va dir la companyia en una publicació de bloc. Aquests classificadors detecten qualsevol contingut innecessari a les aplicacions.
La companyia ha imposat aquesta actualització perquè funcioni de manera sòlida en una àmplia gamma d'aplicacions, incloses les xarxes socials, els sistemes de missatgeria i els chatbots de IA.
Quan proporcioneu un text d'entrada, Moderation endpoint analitza el contingut com a discurs d'odi, contingut sexual, llenguatge abusiu, etc., per ser filtrat. Bloqueja tot el contingut (generat per l'API d'OpenAI) que vagi en contra de la política de contingut d'OpenAI. A més, el punt final també pot eliminar i bloquejar contingut nociu generat per humans.
L'endpoint s'ha entrenat per ser ràpid, precís i per funcionar de manera robusta en una varietat d'aplicacions. És important destacar que això redueix les possibilitats que els productes «diguin» una cosa incorrecta, fins i tot quan s'implementen per als usuaris a escala. Com a conseqüència, la IA pot desbloquejar beneficis en entorns sensibles, com l'educació, on altrament no es podria fer servir amb confiança.
La versió millorada de Moderation endpoint s'ha dissenyat per ser ràpida, precisa i funcionar de manera sòlida a múltiples tipus d'aplicacions, inclosos els chatbots, els sistemes de missatgeria i els llocs de xarxes socials amb tecnologia d'IA.
És important destacar que OpenAI va dir que redueix significativament les possibilitats que un model d'IA «digui» una cosa incorrecta. Això significa que la IA es pot fer servir en entorns més sensibles, com aplicacions educatives, on les persones poden haver tingut reserves prèviament sobre la implementació de la tecnologia.
Cal esmentar que l'eina és gratuïta quan es fa servir amb contingut generat per l'API d'OpenAI. A més de moderar bots, també pot bloquejar contingut nociu que no és generat per les API d'OpenAI, sinó per humans. La plataforma de missatgeria anònima NGL, que proporciona una plataforma perquè els joves comparteixin els sentiments i les opinions, utilitza l'eina d'OpenAI per detectar llenguatge d'odi i assetjament. NGL va dir que l'eina té la capacitat única de generalitzar al voltant de l'argot més recent, cosa que li permet coincidir amb l'evolució del llenguatge utilitzat pels adolescents, per exemple.
També és important esmentar que en el cas de trànsit que no sigui de l'API, l'extrem de moderació està subjecte a una tarifa
Com a part del compromís d'OpenAI de fer que l'ecosistema d'IA sigui més segur, proporcionem aquest punt final per permetre la moderació gratuïta de tot el contingut generat per l'API d'OpenAI. Per exemple, Inworld , un client de l'API d'OpenAI, utilitza el punt final de moderació per ajudar els seus personatges virtuals basats en IA a «estar en el guió». En aprofitar la tecnologia d'OpenAI, Inworld es pot concentrar en el producte principal: crear personatges memorables.
OpenAI va dir que els desenvolupadors ja poden iniciar a fer-ne ús consultant la seva documentació. També va publicar un document que detalla el procés de capacitació i exercici, juntament amb un conjunt de dades d'avaluació que, segons va dir, inspirarà més investigacions a l'àrea de la moderació impulsada per IA.
Finalment si estàs interessat en poder conèixer més a l'respecte, Pots consultar els detalls a el següent enllaç.