Dataanalys och maskininlärning används alltmer varje dag och företag som försöker äventyret står också inför integrationsproblem i allmänhet. För att möta dessa utmaningar, IBM introducerade just CodeFlare, en öppen källkodsram, som är baserat på det Ray-distribuerade systemet från RISE-laboratoriet från University of California i Berkeley för maskininlärningsmodeller.
codeflare syftar till att förenkla AI-iterationsprocessen med specifika element för att skala flöden av data arbete och växte ut ur ett projekt i IBM-gruppen som ansvarar för att skapa ett av världens första prototypchips med 2 nanometer.
IBM säger att CodeFlare hjälper till att förenkla integrationen och effektiv skalning av arbetsdata för big data och artificiell intelligens i multimolninfrastrukturer.
"CodeFlare tar föreställningen om förenklad maskininlärning ... ett steg längre och går utöver isolerade steg för att sömlöst integrera end-to-end-rörledningar med ett datavetenskapsvänligt gränssnitt som Python, inte containrar," Priya Nagpurkar, Principal Hybrid Cloud Plattform på IBM Research, sa VentureBeat i e-post ... differentierar sig genom att förenkla integrering och skalning av hela rörledningar med en enhetlig körtid och programmeringsgränssnitt. "
I ett blogginlägg, IBM förklarade att det är en intensiv manuell uppgift att skapa modeller för maskininlärning idag.. Forskare måste först träna och optimera en modell, som involverar uppgifter som datarengöring, extrahering av funktioner och sedan modelloptimering, och det är här IBM sa att CodeFlare hjälper till att förenkla detta arbete.
Eftersom CodeFlare använder ett gränssnitt baserat på Python-programmeringsspråket för att skapa en pipeline, genom vilket det är lättare att integrera, parallellisera och dela data. CodeFlare kan sedan användas för att förena pipeline-arbetsflöden över flera molndatorplattformar utan att lära sig ett nytt arbetsflödesspråk för varje typ av infrastruktur.
IBM sa rörledningarna kan distribueras på vilken molninfrastruktur som helst, inklusive den nya IBM Cloud Code Engine, som är en serverlös plattform och Red Hat OpenShift, plus att den också tillhandahåller adaptrar för händelseutlösare, till exempel ankomsten av en ny fil, vilket innebär att rören kan integreras och anslutas till andra moln-inbyggda ekosystem, sa IBM.
Dessutom tillåter det också att data laddas och partitioneras från många källor, såsom molnobjektbutiker, datasjöar och distribuerade filsystem.
Den största fördelen med att använda CodeFlare för att skapa nya maskininlärningsprojekt är hastighet. Företaget hävdade att när en av dess användare använde CodeFlare för att analysera och optimera 100,000 rörledningar för att träna maskininlärningsmodeller, minskade tiden för att köra var och en från fyra timmar till bara 15 minuter.
Hastighet är viktigt, förklarade IBM, eftersom datamängder blir större och större, vilket innebär att arbetsflöden för maskininlärning blir mer komplexa och komplexa. Som sådan spenderar forskare mer tid på att konfigurera sina inställningar innan de kan få saker gjort.
"IBM strävar efter detta genom att använda den öppna källkoden för CodeFlare som ett ramverk för dataarbetare och utvecklare för att skapa artificiell intelligensmodeller som kan köras i vilket moln som helst", säger Mueller. "CodeFlare körs på RedHat OpenShift och uppnår dess möjligheter till flera moln därifrån."
IBM sa att:
CodeFlare är öppen källkod idag, det finns tillgängligt i IBM-förvaret på GitHub, plus det släpper också flera prover av CodeFlare-rörledningar som det har skapat och som körs på IBM Cloud och Red Hat OpenShift.
Slutligen om du är intresserad av att veta mer om det eller kunna granska källkoden för CodeFlare kan du göra det från följande länk.