L'analisi dei dati e l'apprendimento automatico sono sempre più utilizzati ogni giorno e le aziende che tentano l'avventura affrontano anche problemi di integrazione in generale. Per affrontare queste sfide, IBM ha appena introdotto CodeFlare, un framework open source, che si basa sul sistema distribuito Ray del laboratorio RISE dell'Università della California a Berkeley per i modelli di apprendimento automatico.
Codice Flare mira a semplificare il processo di iterazione dell'IA con elementi specifici per ridimensionare i flussi di lavoro sui dati ed è nato da un progetto del gruppo IBM responsabile della creazione di uno dei primi prototipi di chip a 2 nanometri al mondo.
IBM afferma che CodeFlare aiuta a semplificare l'integrazione e la scalabilità efficiente dei flussi di lavoro di big data e intelligenza artificiale nelle infrastrutture multi-cloud.
"CodeFlare porta la nozione di apprendimento automatico semplificato... un passo avanti, andando oltre i passaggi isolati per integrare perfettamente le pipeline end-to-end con un'interfaccia intuitiva come Python, non i container", Priya Nagpurkar, Principal Hybrid Cloud Platform presso IBM Research, VentureBeat ha affermato via e-mail... si differenzia semplificando l'integrazione e la scalabilità di intere pipeline con un runtime unificato e un'interfaccia di programmazione. "
In un post sul blog, IBM ha spiegato che la creazione di modelli di machine learning in questi giorni è un'attività estremamente manuale.. I ricercatori devono prima addestrare e ottimizzare un modello, che comporta attività come la pulizia dei dati, l'estrazione delle funzionalità e quindi l'ottimizzazione del modello, ed è qui che IBM ha affermato che CodeFlare aiuta a semplificare questo lavoro.
Poiché CodeFlare utilizza un'interfaccia basata sul linguaggio di programmazione Python per creare una pipeline, attraverso il quale è più facile integrare, parallelizzare e condividere i dati. CodeFlare può quindi essere utilizzato per unificare i flussi di lavoro della pipeline su più piattaforme di cloud computing, senza dover imparare un nuovo linguaggio del flusso di lavoro per ogni tipo di infrastruttura.
IBM ha detto che gli oleodotti può essere distribuito su qualsiasi infrastruttura cloud, incluso il nuovo IBM Cloud Code Engine, che è una piattaforma serverless e Red Hat OpenShift, inoltre fornisce anche adattatori per trigger di eventi, come l'arrivo di un nuovo file, il che significa che le pipe possono integrarsi e connettersi con altri ecosistemi cloud-native, ha affermato IBM.
Inoltre, consente anche il caricamento e il partizionamento dei dati da numerose fonti, come archivi di oggetti cloud, data lake e file system distribuiti.
Il vantaggio principale dell'utilizzo di CodeFlare per impostare nuovi progetti di apprendimento automatico è la velocità. La società ha affermato che quando uno dei suoi utenti ha applicato CodeFlare per analizzare e ottimizzare 100,000 pipeline per addestrare modelli di apprendimento automatico, ha ridotto il tempo di esecuzione ciascuno da quattro ore a soli 15 minuti.
La velocità è importante, ha spiegato IBM, perché i set di dati stanno diventando sempre più grandi, il che significa che i flussi di lavoro di machine learning diventano più complessi e complessi. Pertanto, i ricercatori trascorrono più tempo a configurare le proprie impostazioni prima di poter fare le cose.
"IBM sta perseguendo questo obiettivo utilizzando CodeFlare open source come framework per i data worker e gli sviluppatori per creare modelli di intelligenza artificiale che possono essere eseguiti su qualsiasi cloud", ha affermato Mueller. "CodeFlare funziona su RedHat OpenShift e da lì ottiene funzionalità multi-cloud".
IBM ha detto che:
CodeFlare sta diventando open source oggi è disponibile nel repository IBM su GitHub, inoltre sta rilasciando anche diversi esempi di pipeline CodeFlare che ha creato e che vengono eseguiti su IBM Cloud e Red Hat OpenShift.
Infine se sei interessato a saperne di più o essere in grado di controllare il codice sorgente di CodeFlare, puoi farlo dal seguente collegamento.