CodeFlare, el framework de codi obert d'IBM per entrenar models d'IA que s'executen en plataformes multicloud

Les anàlisis de dades i aprenentatge automàtic cada dia són més utilitzats i les empreses que intenten l'aventura també s'enfronten a problemes d'integració en general. Per fer front a aquests desafiaments, IBM acaba de presentar CodeFlare, un marc de codi obert, que es basa en el sistema distribuït Ray de laboratori RISE de la Universitat de Califòrnia a Berkeley per a models d'aprenentatge automàtic.

CodeFlare té com a objectiu simplificar el procés d'iteració d'IA amb elements específics per a escalar els fluxos de treball de dades i va sorgir d'un projecte en el grup d'IBM responsable de crear un dels primers xips prototip de 2 nanòmetres de el món.

IBM segons diu que CodeFlare ajuda a simplificar la integració i l'ampliació eficient dels fluxos de treball de big data i intel·ligència artificial en infraestructures multinube.

«CodeFlare porta la noció d'aprenentatge automàtic simplificat ... un pas més enllà, anant més enllà de passos aïllats per integrar sense problemes pipelines d'extrem a extrem amb una interfície amigable per científics de dades, com Python, no contenidors», Priya Nagpurkar, director de plataforma de núvol híbrida a IBM Research, va dir VentureBeat per correu electrònic ... es diferencia a l'simplificar la integració i l'escalat de canalitzacions completes amb un temps d'execució i una interfície de programació unificats ».

En una publicació de bloc, IBM va explicar que la creació de models d'aprenentatge automàtic en aquests dies és una tasca intensament manual. Primer, els investigadors han de entrenar i optimitzar un model, el que implica tasques com la neteja de dades, l'extracció de característiques i després l'optimització de el model i aquí és on IBM va dir que CodeFlare ajuda a simplificar aquest treball.

Ja que CodeFlare utilitza una interfície basada en el llenguatge de programació Python per a crear una canalització, a través de la qual resulta més fàcil integrar, paral·lelitzar i compartir dades. Després, CodeFlare es pot usar per unificar els fluxos de treball de la canalització en múltiples plataformes de computació en el núvol, sense aprendre un nou llenguatge de flux de treball per a cada tipus d'infraestructura.

IBM va dir que les canalitzacions es poden implementar en qualsevol infraestructura de núvol, inclòs el nou IBM Cloud Code cerca, que és una plataforma sense servidor i Red Hat OpenShift, a més que també proporciona adaptadors per desencadenants d'esdeveniments, com l'arribada d'un nou arxiu, el que significa que les canonades poden integrar-se i connectar-se amb altres ecosistemes nadius del núvol, va dir IBM .

D'altra banda també permet que les dades es carreguin i es particions des de nombroses fonts, com magatzems d'objectes en el núvol, llacs de dades i sistemes d'arxius distribuïts.

El principal benefici d'usar CodeFlare per configurar nous projectes d'aprenentatge automàtic és la velocitat. La companyia va afirmar que quan un dels seus usuaris va aplicar CodeFlare per analitzar i optimitzar 100,000 pipelines per entrenar models d'aprenentatge automàtic, va reduir el temps per a executar cada un de quatre hores a només 15 minuts.

La velocitat és important, va explicar IBM, perquè els conjunts de dades són cada vegada més grans, el que significa que els fluxos de treball d'aprenentatge automàtic es tornen més complexos i complexos. Com a tal, els investigadors passen més temps configurant les seves configuracions abans de poder fer les coses.

"IBM va darrere d'això mitjançant el codi obert de CodeFlare com a marc perquè els treballadors de dades i els desenvolupadors creuen models d'intel·ligència artificial que puguin executar-se en qualsevol núvol", va dir Mueller. «CodeFlare s'executa en RedHat OpenShift i aconsegueix la seva capacitat multinube a partir d'això».

IBM va dir que:

CodeFlare s'està fent de codi obert avui ja es troba disponible al repositori d'IBM a GitHub, a més que també està llançant diversos exemples de canalitzacions d'CodeFlare que ha creat i que s'executen a IBM Cloud i Red Hat OpenShift.

Finalment si estàs interessat en conèixer més a l'respecte o poder revisar el codi font de CodeFlare, pots fer-ho des del següent enllaç.


Sigues el primer a comentar

Deixa el teu comentari

La seva adreça de correu electrònic no es publicarà. Els camps obligatoris estan marcats amb *

*

*

  1. Responsable de les dades: AB Internet Networks 2008 SL
  2. Finalitat de les dades: Controlar l'SPAM, gestió de comentaris.
  3. Legitimació: El teu consentiment
  4. Comunicació de les dades: No es comunicaran les dades a tercers excepte per obligació legal.
  5. Emmagatzematge de les dades: Base de dades allotjada en Occentus Networks (UE)
  6. Drets: En qualsevol moment pots limitar, recuperar i esborrar la teva informació.