Ежедневно все шире используются аналитика данных и машинное обучение и компании, которые пытаются это сделать, также сталкиваются с проблемами интеграции в целом. Чтобы решить эти проблемы, IBM только что представила CodeFlare, фреймворк с открытым исходным кодом, который основан на распределенной системе Ray лаборатории RISE от Калифорнийского университета в Беркли по моделям машинного обучения.
кодовая вспышка стремится упростить итерационный процесс ИИ с помощью определенных элементов для масштабирования потоков. работы с данными и вырос из проекта группы IBM, ответственной за создание одного из первых в мире прототипов чипов с размером 2 нанометра.
IBM заявляет, что CodeFlare помогает упростить интеграцию и эффективное масштабирование рабочих процессов больших данных и искусственного интеллекта в мультиоблачных инфраструктурах.
«CodeFlare развивает понятие упрощенного машинного обучения ... еще на один шаг вперед, выходя за рамки отдельных шагов и позволяя беспрепятственно интегрировать сквозные конвейеры с удобным для специалистов по данным интерфейсом, таким как Python, а не с контейнерами», - Прия Нагпуркар, главный специалист по гибридному облаку. Компания VentureBeat сообщила по электронной почте, что платформа в IBM Research… отличается тем, что упрощает интеграцию и масштабирование целых конвейеров с помощью единой среды выполнения и интерфейса программирования.
В сообщении в блоге В IBM объяснили, что создание моделей машинного обучения в наши дни - задача, в значительной степени выполняемая вручную.. Исследователи должны сначала обучить и оптимизировать модель, которая включает в себя такие задачи, как очистка данных, извлечение функций, а затем оптимизация модели, и именно здесь, по словам IBM, CodeFlare помогает упростить эту работу.
Поскольку CodeFlare использует интерфейс на основе языка программирования Python для создания конвейера, с помощью которого проще интегрировать, распараллеливать и обмениваться данными. Затем CodeFlare можно использовать для унификации конвейерных рабочих процессов на нескольких платформах облачных вычислений без изучения нового языка рабочего процесса для каждого типа инфраструктуры.
IBM заявила, что конвейеры можно развернуть в любой облачной инфраструктуре, включая новый IBM Cloud Code Engine, это безсерверная платформа и Red Hat OpenShift, плюс он также предоставляет адаптеры для триггеров событий, таких как поступление нового файла, что означает, что каналы могут интегрироваться и подключаться к другим облачным экосистемам, заявила IBM.
Кроме того, он также позволяет загружать и разделять данные из множества источников, таких как хранилища облачных объектов, озера данных и распределенные файловые системы.
Основное преимущество использования CodeFlare для создания новых проектов машинного обучения - скорость.. Компания заявила, что, когда один из ее пользователей применил CodeFlare для анализа и оптимизации 100,000 15 конвейеров для обучения моделей машинного обучения, время работы каждого из них сократилось с четырех часов до XNUMX минут.
В IBM объяснили, что скорость важна. потому что наборы данных становятся все больше и больше, а это означает, что рабочие процессы машинного обучения становятся все более сложными и сложными. Таким образом, исследователи тратят больше времени на настройку своих параметров, прежде чем они смогут что-то сделать.
«IBM добивается этого, используя открытый исходный код CodeFlare в качестве основы для специалистов по обработке данных и разработчиков для создания моделей искусственного интеллекта, которые могут работать в любом облаке», - сказал Мюллер. «CodeFlare работает на RedHat OpenShift и оттуда обеспечивает возможность работы в нескольких облаках».
IBM заявила, что:
CodeFlare переходит на открытый исходный код сегодня, он доступен в репозитории IBM на GitHub, плюс он также выпускает несколько образцов конвейеров CodeFlare, которые он создал и которые работают в IBM Cloud и Red Hat OpenShift.
В конце концов если вам интересно узнать об этом больше или иметь возможность просмотреть исходный код CodeFlare, вы можете это сделать по следующей ссылке.