Анализът на данни и машинното обучение се използват все повече всеки ден а компаниите, които се опитват да се приключат, също се сблъскват с проблеми на интеграцията като цяло. За да посрещнем тези предизвикателства, IBM току-що представи CodeFlare, рамка с отворен код, която се основава на разпределената система Ray от лабораторията RISE от Калифорнийския университет в Бъркли за модели на машинно обучение.
codeflare има за цел да опрости процеса на повторение на ИИ със специфични елементи за мащабиране на потоците на работата с данни и е израснал от проект в групата на IBM, отговорен за създаването на един от първите 2-нанометрови прототипни чипове в света.
IBM казва, че CodeFlare помага да се опрости интеграцията и ефективното мащабиране на работните потоци за големи данни и изкуствен интелект в инфраструктурите с много облаци.
„CodeFlare възприема идеята за опростено машинно обучение ... една стъпка по-далеч, надхвърляйки изолирани стъпки, за да интегрира безпроблемно тръбопроводи от край до край с интерфейс, удобен за учен на данни, като Python, а не контейнери“, Прия Нагпуркар, главен хибриден облак Платформата на IBM Research, VentureBeat заяви по имейл ... се отличава, като опростява интеграцията и мащабирането на цели тръбопроводи с унифициран интерфейс за изпълнение и програмиране. "
В публикация в блог, IBM обясни, че създаването на модели за машинно обучение в наши дни е изключително ръчна задача.. Първо изследователите трябва да обучат и оптимизират модел, който включва задачи като почистване на данни, извличане на функции и след това оптимизация на модела и тук IBM каза, че CodeFlare помага да се опрости тази работа.
Тъй като CodeFlare използва интерфейс, базиран на езика за програмиране Python, за да създаде конвейер, чрез които е по-лесно да се интегрират, паралелизират и споделят данни. След това CodeFlare може да се използва за обединяване на конвейерните работни потоци в множество платформи за изчислителни облаци, без да се учи нов език на работния процес за всеки тип инфраструктура.
IBM каза, че тръбопроводите могат да бъдат внедрени във всяка облачна инфраструктура, включително новата IBM Cloud Code Engine, което е безсървърна платформа и Red Hat OpenShift, плюс това също така предлага адаптери за задействания на събития, като пристигането на нов файл, което означава, че тръбите могат да се интегрират и да се свързват с други екосистеми, които са родни в облака, каза IBM.
Освен това, той също така позволява зареждането и разделянето на данни от многобройни източници, като хранилища на облачни обекти, езера на данни и разпределени файлови системи.
Основната полза от използването на CodeFlare за създаване на нови проекти за машинно обучение е скоростта. Компанията твърди, че когато един от нейните потребители е приложил CodeFlare за анализ и оптимизиране на 100,000 15 тръбопровода за обучение на модели за машинно обучение, той е намалил времето за стартиране на всеки от четири часа на само XNUMX минути.
Скоростта е важна, обясниха от IBM, тъй като наборите от данни стават все по-големи и по-големи, което означава, че работните потоци на машинното обучение стават все по-сложни и сложни. Като такива изследователите прекарват повече време в конфигуриране на настройките си, преди да успеят да свършат нещата.
„IBM преследва това, като използва CodeFlare с отворен код като рамка за работещите с данни и разработчиците за изграждане на модели с изкуствен интелект, които могат да работят на всеки облак“, каза Мюлер. „CodeFlare работи на RedHat OpenShift и оттам постига мулти-облачни възможности.“
IBM каза, че:
Днес CodeFlare отива с отворен код, наличен е в хранилището на IBM на GitHub, а освен това пуска няколко проби от тръбопроводи CodeFlare, които е създал и се изпълнява на IBM Cloud и Red Hat OpenShift.
Накрая ако се интересувате да научите повече за това или да можете да проверите изходния код на CodeFlare, можете да го направите от следващия линк.