Phân tích dữ liệu và học máy ngày càng được sử dụng nhiều hơn và các công ty cố gắng mạo hiểm cũng phải đối mặt với các vấn đề tích hợp nói chung. Để đáp ứng những thách thức này, IBM vừa giới thiệu CodeFlare, một khung mã nguồn mở, dựa trên hệ thống phân tán Ray từ phòng thí nghiệm RISE từ Đại học California tại Berkeley cho các mô hình học máy.
codeflare nhằm mục đích đơn giản hóa quy trình lặp lại AI với các yếu tố cụ thể để mở rộng quy mô luồng dữ liệu hoạt động và phát triển từ một dự án trong nhóm IBM chịu trách nhiệm tạo ra một trong những nguyên mẫu chip 2 nanomet đầu tiên trên thế giới.
IBM cho biết CodeFlare giúp đơn giản hóa việc tích hợp và mở rộng hiệu quả quy trình làm việc của dữ liệu lớn và trí tuệ nhân tạo trong cơ sở hạ tầng đa đám mây.
"CodeFlare đưa ra khái niệm về học máy đơn giản ... một bước nữa, vượt xa các bước riêng biệt để tích hợp liền mạch các đường ống đầu cuối với giao diện thân thiện với nhà khoa học dữ liệu như Python, không phải vùng chứa", Priya Nagpurkar, Hiệu trưởng Hybrid Cloud Nền tảng tại IBM Research, VentureBeat cho biết qua email… tự tạo sự khác biệt bằng cách đơn giản hóa việc tích hợp và mở rộng toàn bộ đường ống với một giao diện lập trình và thời gian chạy thống nhất. "
Trong một bài đăng trên blog, IBM giải thích rằng việc tạo ra các mô hình học máy ngày nay là một công việc thủ công rất nhiều.. Các nhà nghiên cứu trước tiên phải đào tạo và tối ưu hóa một mô hình, bao gồm các nhiệm vụ như làm sạch dữ liệu, trích xuất tính năng và sau đó là tối ưu hóa mô hình, và đây là lúc IBM cho biết CodeFlare giúp đơn giản hóa công việc này.
Vì CodeFlare sử dụng giao diện dựa trên ngôn ngữ lập trình Python để tạo đường dẫn, qua đó việc tích hợp, song song và chia sẻ dữ liệu dễ dàng hơn. CodeFlare sau đó có thể được sử dụng để thống nhất quy trình công việc trên nhiều nền tảng điện toán đám mây mà không cần học ngôn ngữ quy trình làm việc mới cho từng loại cơ sở hạ tầng.
IBM cho biết các đường ống dẫn có thể được triển khai trên bất kỳ cơ sở hạ tầng đám mây nào, bao gồm cả Công cụ mã đám mây mới của IBM, vốn là nền tảng không máy chủ và Red Hat OpenShift, ngoài ra nó cũng cung cấp các bộ điều hợp cho các trình kích hoạt sự kiện, chẳng hạn như sự xuất hiện của tệp mới, có nghĩa là các đường ống có thể tích hợp và kết nối với các hệ sinh thái gốc đám mây khác, IBM cho biết.
Hơn nữa, nó cũng cho phép dữ liệu được tải và phân vùng từ nhiều nguồn, chẳng hạn như kho lưu trữ đối tượng đám mây, hồ dữ liệu và hệ thống tệp phân tán.
Lợi ích chính của việc sử dụng CodeFlare để thiết lập các dự án máy học mới là tốc độ. Công ty tuyên bố rằng khi một trong những người dùng của họ áp dụng CodeFlare để phân tích và tối ưu hóa 100,000 đường ống để đào tạo các mô hình học máy, nó đã giảm thời gian chạy mỗi đường từ bốn giờ xuống chỉ còn 15 phút.
Tốc độ rất quan trọng, IBM giải thích, bởi vì các tập dữ liệu ngày càng lớn hơn, có nghĩa là các quy trình làm việc của máy học ngày càng phức tạp hơn. Do đó, các nhà nghiên cứu dành nhiều thời gian hơn để định cấu hình cài đặt của họ trước khi họ có thể hoàn thành công việc.
Ông Mueller cho biết: “IBM đang theo đuổi điều này bằng cách sử dụng mã nguồn mở CodeFlare làm khuôn khổ cho nhân viên dữ liệu và nhà phát triển để tạo ra các mô hình trí tuệ nhân tạo có thể chạy trên bất kỳ đám mây nào. "CodeFlare chạy trên RedHat OpenShift và đạt được khả năng đa đám mây từ đó."
IBM nói rằng:
CodeFlare sẽ trở thành mã nguồn mở ngày nay, nó có sẵn trong kho lưu trữ của IBM trên GitHub, ngoài ra nó cũng đang phát hành một số mẫu đường ống CodeFlare mà nó đã tạo và chạy trên IBM Cloud và Red Hat OpenShift.
Cuối cùng nếu bạn muốn biết thêm về nó hoặc có thể kiểm tra mã nguồn của CodeFlare, bạn có thể làm điều đó từ liên kết sau.