L'analyse de données et l'apprentissage automatique sont de plus en plus utilisés chaque jour et les entreprises qui tentent l'aventure sont également confrontées à des problèmes d'intégration en général. Pour relever ces défis, IBM vient de présenter CodeFlare, un framework open source, qui est basé sur le système distribué Ray du laboratoire RISE de l'Université de Californie à Berkeley pour les modèles d'apprentissage automatique.
codeflare vise à simplifier le processus d'itération de l'IA avec des éléments spécifiques pour faire évoluer les flux du travail sur les données et est né d'un projet du groupe IBM chargé de créer l'un des premiers prototypes de puces 2 nanomètres au monde.
IBM affirme que CodeFlare aide à simplifier l'intégration et la mise à l'échelle efficace des workflows de Big Data et d'intelligence artificielle dans les infrastructures multi-cloud.
"CodeFlare pousse la notion d'apprentissage automatique simplifié... un pas plus loin, allant au-delà des étapes isolées pour intégrer de manière transparente des pipelines de bout en bout avec une interface conviviale pour les scientifiques des données telle que Python, pas des conteneurs", Priya Nagpurkar, Principal Hybrid Cloud La plate-forme d'IBM Research, a déclaré VentureBeat par e-mail… se différencie en simplifiant l'intégration et la mise à l'échelle de pipelines entiers avec une interface d'exécution et de programmation unifiée. "
Dans un article de blog, IBM a expliqué que la création de modèles d'apprentissage automatique de nos jours est une tâche extrêmement manuelle.. Les chercheurs doivent d'abord former et optimiser un modèle, ce qui implique des tâches telles que le nettoyage des données, l'extraction de fonctionnalités, puis l'optimisation du modèle, et c'est là que IBM a déclaré que CodeFlare aide à simplifier ce travail.
Puisque CodeFlare utilise une interface basée sur le langage de programmation Python pour créer un pipeline, grâce auquel il est plus facile d'intégrer, de paralléliser et de partager des données. CodeFlare peut ensuite être utilisé pour unifier les workflows de pipeline sur plusieurs plates-formes de cloud computing, sans apprendre un nouveau langage de workflow pour chaque type d'infrastructure.
IBM a déclaré que les pipelines peut être déployé sur n'importe quelle infrastructure cloud, y compris le nouveau moteur de code IBM Cloud, qui est une plate-forme sans serveur et Red Hat OpenShift, et fournit également des adaptateurs pour les déclencheurs d'événements, tels que l'arrivée d'un nouveau fichier, ce qui signifie que les canaux peuvent s'intégrer et se connecter à d'autres écosystèmes natifs du cloud, a déclaré IBM. .
De plus, il permet également de charger et de partitionner les données à partir de nombreuses sources, telles que les magasins d'objets cloud, les lacs de données et les systèmes de fichiers distribués.
Le principal avantage de l'utilisation de CodeFlare pour mettre en place de nouveaux projets d'apprentissage automatique est la vitesse. La société a affirmé que lorsqu'un de ses utilisateurs appliquait CodeFlare pour analyser et optimiser 100,000 15 pipelines pour former des modèles d'apprentissage automatique, il réduisait le temps d'exécution de chacun de quatre heures à seulement XNUMX minutes.
La vitesse est importante, a expliqué IBM, car les ensembles de données deviennent de plus en plus volumineux, ce qui signifie que les workflows d'apprentissage automatique deviennent de plus en plus complexes. En tant que tels, les chercheurs passent plus de temps à configurer leurs paramètres avant de pouvoir faire avancer les choses.
« IBM poursuit cet objectif en utilisant CodeFlare open source comme cadre pour les travailleurs des données et les développeurs afin de créer des modèles d'intelligence artificielle pouvant s'exécuter sur n'importe quel cloud », a déclaré Mueller. "CodeFlare fonctionne sur RedHat OpenShift et atteint sa capacité multi-cloud à partir de là."
IBM a déclaré que :
CodeFlare devient open source aujourd'hui, il est déjà disponible dans le référentiel IBM sur GitHub, et il publie également plusieurs exemples de pipelines CodeFlare qu'il a créés et qui s'exécutent sur IBM Cloud et Red Hat OpenShift.
Enfin si vous souhaitez en savoir plus ou être en mesure de revoir le code source de CodeFlare, vous pouvez le faire à partir du lien suivant.