Dataanalyse og maskinlæring brukes i økende grad hver dag og selskaper som prøver eventyret, møter også integrasjonsproblemer generelt. For å møte disse utfordringene, IBM introduserte nettopp CodeFlare, et open source-rammeverk, som er basert på det Ray-distribuerte systemet fra RISE-laboratoriet fra University of California i Berkeley for maskinlæringsmodeller.
kodeflare har som mål å forenkle AI-iterasjonsprosessen med spesifikke elementer for å skalere strømmer av dataarbeid og vokste ut av et prosjekt i IBM-gruppen som var ansvarlig for å lage en av verdens første 2-nanometer prototypebrikker.
IBM sier CodeFlare hjelper med å forenkle integrasjonen og effektiv skalering av arbeidsdata for big data og kunstig intelligens i multi-cloud infrastrukturer.
"CodeFlare tar forestillingen om forenklet maskinlæring ... et skritt videre, og går utover isolerte trinn for å sømløst integrere end-to-end-rørledninger med et datavitenskapelig vennlig grensesnitt som Python, ikke containere," Priya Nagpurkar, Principal Hybrid Cloud Plattform hos IBM Research, sa VentureBeat i e-post ... skiller seg ut ved å forenkle integrering og skalering av hele rørledninger med et enhetlig kjøretid og programmeringsgrensesnitt. "
I et blogginnlegg, IBM forklarte at det å lage maskinlæringsmodeller i disse dager er en intenst manuell oppgave.. Forskere må først trene og optimalisere en modell, som involverer oppgaver som datarensing, funksjonsutvinning og deretter modelloptimalisering, og det er her IBM sa CodeFlare hjelper med å forenkle dette arbeidet.
Siden CodeFlare bruker et grensesnitt basert på Python-programmeringsspråket for å lage en rørledning, som det er lettere å integrere, parallellisere og dele data gjennom. CodeFlare kan deretter brukes til å forene rørledningsarbeidsflyter på tvers av flere databehandlingsplattformer, uten å lære et nytt arbeidsflytspråk for hver type infrastruktur.
IBM sa rørledningene kan distribueres på hvilken som helst skyinfrastruktur, inkludert den nye IBM Cloud Code Engine, som er en serverløs plattform og Red Hat OpenShift, pluss at den også gir adaptere for hendelsesutløsere, for eksempel ankomsten av en ny fil, noe som betyr at rørene kan integreres og koble seg til andre sky-native økosystemer, sa IBM.
Videre tillater det også data å lastes inn og partisjoneres fra mange kilder, som skyobjektbutikker, datasjøer og distribuerte filsystemer.
Den største fordelen med å bruke CodeFlare til å sette opp nye maskinlæringsprosjekter er hastighet. Selskapet hevdet at når en av brukerne brukte CodeFlare for å analysere og optimalisere 100,000 rørledninger for å trene maskinlæringsmodeller, reduserte det tiden til å kjøre hver fra fire timer til bare 15 minutter.
Hastighet er viktig, forklarte IBM, fordi datasett blir større og større, noe som betyr at arbeidsflyter for maskinlæring blir mer komplekse og komplekse. Som sådan bruker forskere mer tid på å konfigurere innstillingene sine før de kan få ting gjort.
"IBM forfølger dette ved å bruke åpen kildekode CodeFlare som et rammeverk for databearbeidere og utviklere for å bygge kunstig intelligensmodeller som kan kjøres i hvilken som helst sky," sa Mueller. "CodeFlare kjører på RedHat OpenShift og oppnår muligheter for flere skyer derfra."
IBM sa at:
CodeFlare blir åpen kildekode i dag, den er tilgjengelig i IBM-depotet på GitHub, pluss at den også frigjør flere eksempler på CodeFlare-rørledninger som den har opprettet, og som kjører på IBM Cloud og Red Hat OpenShift.
Endelig hvis du er interessert i å vite mer om det eller være i stand til å gjennomgå kildekoden til CodeFlare, kan du gjøre det fra følgende lenke.