Datenanalyse und maschinelles Lernen werden täglich zunehmend eingesetzt und Unternehmen, die das Abenteuer wagen, haben auch generell Integrationsprobleme. Um diesen Herausforderungen zu begegnen, IBM hat gerade CodeFlare eingeführt, ein Open-Source-Framework, das basiert auf dem verteilten Ray-System aus dem RISE-Labor von der University of California in Berkeley für Machine-Learning-Modelle.
Codeflare zielt darauf ab, den KI-Iterationsprozess mit spezifischen Elementen zu vereinfachen, um Flüsse zu skalieren der Datenarbeit und ist aus einem Projekt im IBM-Konzern hervorgegangen, der für die Entwicklung eines der weltweit ersten 2-Nanometer-Prototypen-Chips verantwortlich war.
Laut IBM hilft CodeFlare dabei, die Integration und effiziente Skalierung von Big-Data- und künstlichen Intelligenz-Workflows in Multi-Cloud-Infrastrukturen zu vereinfachen.
„CodeFlare geht mit dem Konzept des vereinfachten maschinellen Lernens einen Schritt weiter und geht über isolierte Schritte hinaus, um End-to-End-Pipelines nahtlos mit einer datenwissenschaftlerfreundlichen Schnittstelle wie Python zu integrieren, nicht mit Containern“, Priya Nagpurkar, Principal Hybrid Cloud Platform bei IBM Research, sagte VentureBeat per E-Mail… unterscheidet sich durch die Vereinfachung der Integration und Skalierung ganzer Pipelines mit einer einheitlichen Laufzeit- und Programmierschnittstelle.
In einem Blogbeitrag IBM erklärte, dass das Erstellen von Modellen für maschinelles Lernen heutzutage eine intensiv manuelle Aufgabe ist.. Forscher müssen zuerst ein Modell trainieren und optimieren, was Aufgaben wie Datenbereinigung, Merkmalsextraktion und dann Modelloptimierung umfasst. An dieser Stelle hilft laut IBM CodeFlare, diese Arbeit zu vereinfachen.
Da CodeFlare eine auf der Programmiersprache Python basierende Schnittstelle verwendet, um eine Pipeline zu erstellen, wodurch es einfacher ist, Daten zu integrieren, zu parallelisieren und zu teilen. CodeFlare kann dann verwendet werden, um Pipeline-Workflows über mehrere Cloud-Computing-Plattformen hinweg zu vereinheitlichen, ohne eine neue Workflow-Sprache für jeden Infrastrukturtyp zu erlernen.
IBM sagte die Pipelines kann auf jeder Cloud-Infrastruktur bereitgestellt werden, einschließlich der neuen IBM Cloud Code Engine, Dies ist eine serverlose Plattform und Red Hat OpenShift sowie Adapter für Ereignisauslöser, wie z.
Darüber hinaus ermöglicht es auch das Laden und Partitionieren von Daten aus zahlreichen Quellen wie Cloud-Objektspeichern, Data Lakes und verteilten Dateisystemen.
Der Hauptvorteil der Verwendung von CodeFlare zum Einrichten neuer Machine-Learning-Projekte ist die Geschwindigkeit. Das Unternehmen behauptete, dass, als einer seiner Benutzer CodeFlare anwendete, um 100,000 Pipelines zum Trainieren von Modellen für maschinelles Lernen zu analysieren und zu optimieren, die Zeit für die Ausführung jeweils von vier Stunden auf nur 15 Minuten reduziert wurde.
Geschwindigkeit ist wichtig, erklärte IBM, weil Datensätze immer größer werden, was bedeutet, dass maschinelle Lernworkflows immer komplexer und komplexer werden. Daher verbringen Forscher mehr Zeit damit, ihre Einstellungen zu konfigurieren, bevor sie ihre Aufgaben erledigen können.
„IBM verfolgt dies, indem es Open-Source-CodeFlare als Framework für Datenarbeiter und Entwickler verwendet, um Modelle für künstliche Intelligenz zu erstellen, die in jeder Cloud ausgeführt werden können“, sagte Mueller. "CodeFlare läuft auf RedHat OpenShift und erreicht von dort aus Multi-Cloud-Fähigkeit."
IBM sagte das:
CodeFlare wird heute Open Source. Es ist im IBM Repository auf GitHub verfügbar und veröffentlicht außerdem mehrere Beispiele von CodeFlare-Pipelines, die es erstellt hat und die auf der IBM Cloud und Red Hat OpenShift ausgeführt werden.
Schließlich wenn Sie mehr darüber wissen möchten oder in der Lage sein, den Quellcode von CodeFlare zu überprüfen, Sie können es tun über den folgenden Link.