A análise de dados e o aprendizado de máquina são cada vez mais usados todos os dias e as empresas que estão tentando a aventura também enfrentam problemas de integração em geral. Para enfrentar esses desafios, A IBM acaba de lançar o CodeFlare, uma estrutura de código aberto, que é baseado no sistema distribuído Ray do laboratório RISE da Universidade da Califórnia em Berkeley para modelos de aprendizado de máquina.
codeflare visa simplificar o processo de iteração de IA com elementos específicos para dimensionar fluxos de trabalho de dados e surgiu de um projeto no grupo IBM responsável pela criação de um dos primeiros chips de protótipo de 2 nanômetros do mundo.
A IBM afirma que o CodeFlare ajuda a simplificar a integração e o dimensionamento eficiente de fluxos de trabalho de big data e inteligência artificial em infraestruturas com várias nuvens.
"CodeFlare leva a noção de aprendizado de máquina simplificado ... um passo adiante, indo além de etapas isoladas para integrar perfeitamente pipelines ponta a ponta com uma interface amigável para cientistas de dados, como Python, não contêineres", Priya Nagpurkar, Principal Hybrid Cloud A plataforma da IBM Research, disse VentureBeat via e-mail ... diferencia-se ao simplificar a integração e o dimensionamento de pipelines inteiros com um tempo de execução e interface de programação unificados. "
Em uma postagem do blog, A IBM explicou que a criação de modelos de aprendizado de máquina atualmente é uma tarefa intensamente manual.. Os pesquisadores devem primeiro treinar e otimizar um modelo, o que envolve tarefas como limpeza de dados, extração de recursos e, em seguida, otimização do modelo, e é aqui que a IBM disse que o CodeFlare ajuda a simplificar esse trabalho.
Como CodeFlare usa uma interface baseada na linguagem de programação Python para criar um pipeline, através do qual é mais fácil integrar, paralelizar e compartilhar dados. CodeFlare pode então ser usado para unificar fluxos de trabalho de pipeline em várias plataformas de computação em nuvem, sem aprender uma nova linguagem de fluxo de trabalho para cada tipo de infraestrutura.
IBM disse que os pipelines pode ser implementado em qualquer infraestrutura de nuvem, incluindo o novo IBM Cloud Code Engine, que é uma plataforma sem servidor e Red Hat OpenShift, além de fornecer adaptadores para gatilhos de eventos, como a chegada de um novo arquivo, o que significa que os canais podem se integrar e se conectar com outros ecossistemas nativos da nuvem, disse a IBM.
Além disso, também permite que os dados sejam carregados e particionados de várias fontes, como armazenamentos de objetos em nuvem, data lakes e sistemas de arquivos distribuídos.
O principal benefício de usar CodeFlare para configurar novos projetos de aprendizado de máquina é a velocidade. A empresa afirmou que quando um de seus usuários aplicou CodeFlare para analisar e otimizar 100,000 pipelines para treinar modelos de aprendizado de máquina, ele reduziu o tempo de execução de cada um de quatro horas para apenas 15 minutos.
A velocidade é importante, explicou a IBM, porque os conjuntos de dados estão cada vez maiores, o que significa que os fluxos de trabalho de aprendizado de máquina estão cada vez mais complexos. Assim, os pesquisadores passam mais tempo definindo suas configurações antes de fazer as coisas.
"A IBM está buscando isso usando o código-fonte aberto do CodeFlare como uma estrutura para profissionais de dados e desenvolvedores para criar modelos de inteligência artificial que podem ser executados em qualquer nuvem", disse Mueller. "CodeFlare é executado em RedHat OpenShift e alcança sua capacidade de várias nuvens a partir daí."
A IBM disse que:
CodeFlare está se tornando o código aberto hoje, já está disponível no repositório IBM no GitHub, além de também lançar várias amostras de pipelines CodeFlare que criou e que são executados no IBM Cloud e Red Hat OpenShift.
Finalmente se você estiver interessado em saber mais sobre isso ou ser capaz de revisar o código-fonte do CodeFlare, você pode fazer isso a partir do seguinte link.