Nedávno OpenAI, nezisková společnost zabývající se výzkumem umělé inteligence oznámil to prostřednictvím publikace nástroje pro moderování obsahu Nové a vylepšené (Content Moderation Tooling), o kterých se zmiňuje, jsou přesnější a mají pomoci vývojářům API chránit jejich aplikace.
Výzkumný tým OpenAI oznámil aktualizaci svého bezplatného nástroje pro moderování obsahu, který je nyní dostupný všem vývojářům.
Koncový bod moderování umožňuje přístup přes aplikační programovací rozhraní ke generativním předtrénovaným klasifikátorům založeným na transformátorech, co jsou modely AI kteří byli vyškoleni k detekci nežádoucího obsahu v aplikacích, uvedla společnost v příspěvku na blogu. Tyto klasifikátory detekují veškerý nepotřebný obsah v aplikacích.
Společnost zavedla tuto aktualizaci pro robustní výkon v široké škále aplikací, včetně sociálních sítí, systémů pro zasílání zpráv a chatbotů AI.
Jakmile zadáte vstupní text, Koncový bod moderování analyzuje obsah jako projevy nenávisti, sexuální obsah, urážlivé výrazy atd., které mají být filtrovány. Blokovat veškerý obsah (generováno pomocí OpenAI API) což je v rozporu s obsahovou politikou OpenAI. Kromě toho může koncový bod také odstraňovat a blokovat škodlivý obsah vytvořený lidmi.
Koncový bod byl vyškolen tak, aby byl rychlý, přesný a robustní v různých aplikacích. Důležité je, že se tím snižuje šance, že produkty „řeknou“ nesprávnou věc, i když jsou uživatelům nabízeny ve velkém. V důsledku toho může umělá inteligence odemknout výhody v citlivých prostředích, jako je vzdělávání, kde by se jinak nedala s jistotou používat.
Vylepšená verze koncového bodu Moderování navrženy tak, aby byly rychlé, přesné a robustní v různých typech aplikací, včetně chatbotů s umělou inteligencí, systémů pro zasílání zpráv a stránek sociálních sítí.
Důležité je, že OpenAI uvedla, že výrazně snižuje šance, že model AI „řekne“ špatnou věc. To znamená, že AI lze použít v citlivějších prostředích, jako jsou vzdělávací aplikace, kde lidé mohli mít dříve výhrady k implementaci technologie.
Za zmínku stojí nástroj je zdarma při použití s obsahem generovaným rozhraním OpenAI API. Kromě moderování botů můžete také blokovat škodlivý obsah, který negenerují API OpenAI, ale lidé. Platforma pro anonymní zasílání zpráv NGL, která poskytuje platformu pro mladé lidi, aby mohli sdílet své pocity a názory, využívá nástroj OpenAI k detekci nenávistných projevů a obtěžování. NGL uvedla, že tento nástroj má jedinečnou schopnost zobecnit nejnovější slang, což mu umožňuje odpovídat vývoji jazyka používaného například teenagery.
Je také důležité zmínit, že v případě provozu bez rozhraní API je koncový bod moderování zpoplatněn.
Jako součást závazku OpenAI zvýšit bezpečnost ekosystému AI poskytujeme tento koncový bod, který umožňuje bezplatné moderování veškerého obsahu generovaného rozhraním OpenAI API. Například Inworld, klient OpenAI API, používá koncový bod moderování, aby pomohl svým virtuálním postavám založeným na AI „zůstat na skriptu“. Díky využití technologie OpenAI se Inworld může soustředit na svůj hlavní produkt: vytváření nezapomenutelných postav.
OpenAI to řekl vývojáři jej již mohou začít používat nahlédnutím do jeho dokumentace. Zveřejnila také dokument podrobně popisující svůj tréninkový a výkonnostní proces spolu s hodnotícím datovým souborem, který bude podle ní inspirovat další výzkum v oblasti moderování založeného na AI.
Konečně pokud máte zájem o tom vědět více, můžete zkontrolovat podrobnosti v následující odkaz.