Data-analyse en machine learning worden elke dag meer en meer gebruikt en bedrijven die het avontuur aangaan, hebben in het algemeen ook te maken met integratieproblemen. Om deze uitdagingen aan te gaan, IBM heeft zojuist CodeFlare geïntroduceerd, een open source framework, dat is gebaseerd op het Ray-distributiesysteem van het RISE-laboratorium van de University of California in Berkeley voor modellen voor machine learning.
codeflare heeft tot doel het AI-iteratieproces te vereenvoudigen met specifieke elementen om stromen te schalen van datawerk en groeide uit een project in de IBM-groep die verantwoordelijk was voor het maken van een van 's werelds eerste prototype-chips van 2 nanometer.
IBM zegt dat CodeFlare helpt bij het vereenvoudigen van de integratie en efficiënte schaling van big data en kunstmatige intelligentie-workflows in multi-cloudinfrastructuren.
"CodeFlare neemt het idee van vereenvoudigde machine learning ... een stap verder en gaat verder dan geïsoleerde stappen om end-to-end pijplijnen naadloos te integreren met een datawetenschapper-vriendelijke interface zoals Python, niet containers," Priya Nagpurkar, Principal Hybrid Cloud Platform bij IBM Research, zei VentureBeat via e-mail … onderscheidt zich door de integratie en schaling van volledige pijplijnen te vereenvoudigen met een uniforme runtime- en programmeerinterface.
In een blogpost, IBM legde uit dat het maken van machine learning-modellen tegenwoordig een intensief handmatige taak is.. Onderzoekers moeten eerst een model trainen en optimaliseren, wat taken omvat zoals het opschonen van gegevens, het extraheren van functies en vervolgens modeloptimalisatie, en dit is waar IBM zei dat CodeFlare dit werk helpt vereenvoudigen.
Aangezien CodeFlare een interface gebruikt die is gebaseerd op de programmeertaal Python om een pijplijn te maken, waardoor het gemakkelijker is om gegevens te integreren, te parallelliseren en te delen. CodeFlare kan vervolgens worden gebruikt om pipeline-workflows op meerdere cloud computing-platforms te verenigen, zonder een nieuwe workflow-taal te leren voor elk type infrastructuur.
IBM zei dat de pijpleidingen kan worden ingezet op elke cloudinfrastructuur, inclusief de nieuwe IBM Cloud Code Engine, dat is een serverloos platform en Red Hat OpenShift, plus het biedt ook adapters voor gebeurtenistriggers, zoals de komst van een nieuw bestand, wat betekent dat de pijpen kunnen integreren en verbinding kunnen maken met andere cloud-native ecosystemen, zei IBM.
Bovendien kunnen gegevens worden geladen en gepartitioneerd uit tal van bronnen, zoals opslag van cloudobjecten, datameren en gedistribueerde bestandssystemen.
Het belangrijkste voordeel van het gebruik van CodeFlare om nieuwe machine learning-projecten op te zetten, is snelheid. Het bedrijf beweerde dat toen een van zijn gebruikers CodeFlare toepaste om 100,000 pijplijnen te analyseren en te optimaliseren om machine learning-modellen te trainen, het de tijd om elk te draaien van vier uur tot slechts 15 minuten verminderde.
Snelheid is belangrijk, legde IBM uit, omdat datasets steeds groter worden, wat betekent dat workflows voor machine learning complexer en complexer worden. Als zodanig besteden onderzoekers meer tijd aan het configureren van hun instellingen voordat ze dingen voor elkaar kunnen krijgen.
"IBM streeft dit na door de open source-code van CodeFlare te gebruiken als raamwerk voor datawerkers en ontwikkelaars om kunstmatige-intelligentiemodellen te creëren die op elke cloud kunnen draaien", aldus Mueller. "CodeFlare draait op RedHat OpenShift en bereikt van daaruit multi-cloudmogelijkheden."
IBM zei dat:
CodeFlare gaat vandaag open source en is beschikbaar in de IBM-repository op GitHub, plus het geeft ook verschillende voorbeelden van CodeFlare-pipelines vrij die het heeft gemaakt en die draaien op de IBM Cloud en Red Hat OpenShift.
Eindelijk als u er meer over wilt weten of in staat zijn om de broncode van CodeFlare te bekijken, u kunt het doen via de volgende link.