Dataanalyse og maskinlæring bruges i stigende grad hver dag og virksomheder, der prøver eventyret, står generelt over for integrationsproblemer generelt. For at imødegå disse udfordringer IBM introducerede netop CodeFlare, en open source-ramme, som er baseret på RISE-laboratoriets Ray-distribuerede system fra University of California i Berkeley til maskinlæringsmodeller.
kodeflare sigter mod at forenkle AI-iterationsprocessen med specifikke elementer til at skalere strømme af dataarbejde og voksede ud af et projekt i IBM-gruppen, der var ansvarlig for at skabe en af verdens første prototypechips med 2 nanometer.
IBM siger, at CodeFlare hjælper med at forenkle integrationen og effektiv skalering af big data og kunstig intelligens arbejdsgange i multi-cloud infrastrukturer.
"CodeFlare tager forestillingen om forenklet maskinindlæring ... et skridt videre og går ud over isolerede trin for problemfrit at integrere end-to-end-rørledninger med en dataforskningsvenlig grænseflade som Python, ikke containere," Priya Nagpurkar, Principal Hybrid Cloud Platform hos IBM Research, sagde VentureBeat via e-mail ... differentierer sig ved at forenkle integrationen og skaleringen af hele rørledninger med en samlet runtime og programmeringsgrænseflade. "
I et blogindlæg, IBM forklarede, at oprettelse af maskinlæringsmodeller i disse dage er en intenst manuel opgave.. Forskere skal først træne og optimere en model, der involverer opgaver som datarensning, funktionsextraktion og derefter modeloptimering, og det er her IBM sagde CodeFlare hjælper med at forenkle dette arbejde.
Da CodeFlare bruger en grænseflade baseret på Python-programmeringssprog til at oprette en pipeline, hvorigennem det er lettere at integrere, parallelisere og dele data. CodeFlare kan derefter bruges til at forene pipeline-arbejdsgange på tværs af cloud computing-platforme uden at lære et nyt workflow-sprog for hver type infrastruktur.
IBM sagde rørledningerne kan implementeres på enhver skyinfrastruktur, inklusive den nye IBM Cloud Code Engine, som er en serverløs platform og Red Hat OpenShift, plus det giver også adaptere til hændelsesudløsere, såsom ankomsten af en ny fil, hvilket betyder, at rørene kan integreres og oprette forbindelse til andre cloud-native økosystemer, sagde IBM.
Desuden tillader det også, at data indlæses og partitioneres fra adskillige kilder, såsom cloud-objektlagre, datasøer og distribuerede filsystemer.
Den største fordel ved at bruge CodeFlare til at oprette nye machine learning-projekter er hastighed. Virksomheden hævdede, at når en af brugerne anvendte CodeFlare til at analysere og optimere 100,000 rørledninger til at træne maskinlæringsmodeller, reducerede det tiden til at køre hver fra fire timer til kun 15 minutter.
Hastighed er vigtig, forklarede IBM, fordi datasæt bliver større og større, hvilket betyder, at maskinlæringsarbejdsprocesser bliver mere komplekse og komplekse. Som sådan bruger forskere mere tid på at konfigurere deres indstillinger, før de kan få tingene gjort.
"IBM forfølger dette ved at bruge open source-koden til CodeFlare som en ramme for dataarbejdere og udviklere til at skabe kunstig intelligensmodeller, der kan køre på enhver sky," sagde Mueller. "CodeFlare kører på RedHat OpenShift og opnår dens multi-cloud-kapacitet derfra."
IBM sagde, at:
CodeFlare bliver open source i dag, det er allerede tilgængeligt i IBM-arkivet på GitHub, plus det frigiver også flere eksempler på CodeFlare-rørledninger, som det har oprettet, og som kører på IBM Cloud og Red Hat OpenShift.
Endelig hvis du er interesseret i at vide mere om det eller være i stand til at gennemse kildekoden til CodeFlare, kan du gøre det fra følgende link.