Аналітика даних та машинне навчання все частіше використовуються з кожним днем а компанії, які роблять спробу пригод, також стикаються з проблемами інтеграції загалом. Щоб відповісти на ці виклики, IBM щойно представила CodeFlare, фреймворк з відкритим кодом, який заснована на розподіленій системі Ray лабораторії RISE з Каліфорнійського університету в Берклі для моделей машинного навчання.
codeflare має на меті спростити процес ітерації ШІ конкретними елементами для масштабування потоків обробки даних і виріс із проекту групи IBM, відповідального за створення одного з перших у світі 2-нанометрових мікросхем-прототипів.
IBM заявляє, що CodeFlare сприяє спрощенню інтеграції та ефективному масштабуванню робочих процесів великих даних та штучного інтелекту в багатохмарних інфраструктурах.
"CodeFlare використовує поняття спрощеного машинного навчання ... ще один крок далі, виходячи за межі ізольованих кроків, щоб плавно інтегрувати наскрізні конвеєри з інтерфейсом, зручним для вчених, таким як Python, а не контейнери", Прия Нагпуркар, головний гібридний хмара Платформа в IBM Research, VentureBeat заявила по електронній пошті ... диференціює себе, спрощуючи інтеграцію та масштабування цілих конвеєрів за допомогою єдиного інтерфейсу виконання та програмування.
У дописі в блозі IBM пояснила, що створення моделей машинного навчання на сьогоднішній день є дуже ручним завданням.. Спочатку дослідники повинні навчити та оптимізувати модель, яка включає такі завдання, як очищення даних, вилучення функцій, а потім оптимізація моделі, і саме тут IBM зазначає, що CodeFlare допомагає спростити цю роботу.
Оскільки CodeFlare використовує інтерфейс на основі мови програмування Python для створення конвеєра, за допомогою якого легше інтегрувати, розпаралелювати та обмінюватися даними. Потім CodeFlare можна використовувати для уніфікації конвеєрних робочих процесів на декількох платформах хмарних обчислень, не вивчаючи нову мову робочого процесу для кожного типу інфраструктури.
IBM заявила, що трубопроводи може бути розгорнуто на будь-якій хмарній інфраструктурі, включаючи нову IBM Cloud Code Engine, Це безсерверна платформа та Red Hat OpenShift, а також вона надає адаптери для активаторів подій, таких як надходження нового файлу, що означає, що канали можуть інтегруватися та з'єднуватися з іншими екологічними системами, хмарними, повідомляє IBM.
Більше того, це також дозволяє завантажувати та розділяти дані з численних джерел, таких як сховища хмарних об'єктів, озера даних та розподілені файлові системи.
Основною перевагою використання CodeFlare для створення нових проектів машинного навчання є швидкість. Компанія стверджувала, що коли один із її користувачів застосував CodeFlare для аналізу та оптимізації 100,000 15 конвеєрів для навчання моделей машинного навчання, це скоротило час запуску кожного з чотирьох годин до XNUMX хвилин.
IBM пояснила, що швидкість важлива оскільки набори даних стають все більшими і більшими, а це означає, що робочі процеси машинного навчання стають все більш складними та складними. Таким чином, дослідники витрачають більше часу на налаштування своїх налаштувань, перш ніж вони зможуть щось зробити.
"IBM домагається цього, використовуючи відкритий вихідний код CodeFlare як основу для працівників даних та розробників для створення моделей штучного інтелекту, які можуть працювати на будь-якій хмарі", - сказав Мюллер. "CodeFlare працює на RedHat OpenShift і звідти досягає багатохмарних можливостей."
IBM заявила, що:
CodeFlare сьогодні виходить із відкритим кодом, він доступний у сховищі IBM на GitHub, а також випускає кілька зразків конвеєрів CodeFlare, які він створив і працюють на IBM Cloud і Red Hat OpenShift.
В кінці кінців якщо вам цікаво дізнатись більше про це або мати можливість переглянути вихідний код CodeFlare, ви можете це зробити за наступним посиланням.