Analisis data dan pembelajaran mesin semakin banyak digunakan setiap hari dan perusahaan yang mencoba petualangan juga menghadapi masalah integrasi secara umum. Untuk menjawab tantangan-tantangan tersebut, IBM baru saja memperkenalkan CodeFlare, kerangka kerja sumber terbuka, yang didasarkan pada sistem terdistribusi Ray laboratorium RISE dari University of California di Berkeley untuk model pembelajaran mesin.
codeflare bertujuan untuk menyederhanakan proses iterasi AI dengan elemen khusus untuk menskalakan aliran pekerjaan data dan tumbuh dari proyek di grup IBM yang bertanggung jawab untuk menciptakan salah satu chip prototipe 2-nanometer pertama di dunia.
IBM mengatakan CodeFlare membantu menyederhanakan integrasi dan penskalaan yang efisien dari data besar dan alur kerja kecerdasan buatan dalam infrastruktur multi-cloud.
"CodeFlare mengambil gagasan tentang pembelajaran mesin yang disederhanakan ... satu langkah lebih jauh, melampaui langkah-langkah yang terisolasi untuk mengintegrasikan pipa end-to-end dengan mulus dengan antarmuka yang ramah ilmuwan data seperti Python, bukan container," Priya Nagpurkar, Principal Hybrid Cloud Platform di IBM Research, kata VentureBeat melalui email… membedakan dirinya dengan menyederhanakan integrasi dan penskalaan seluruh saluran dengan runtime terpadu dan antarmuka pemrograman.
Di postingan blog, IBM menjelaskan bahwa membuat model pembelajaran mesin akhir-akhir ini adalah tugas yang sangat manual.. Peneliti harus terlebih dahulu melatih dan mengoptimalkan model, yang melibatkan tugas-tugas seperti pembersihan data, ekstraksi fitur, dan kemudian pengoptimalan model, dan di sinilah IBM mengatakan CodeFlare membantu menyederhanakan pekerjaan ini.
Karena CodeFlare menggunakan antarmuka berdasarkan bahasa pemrograman Python untuk membuat pipa, yang lebih mudah untuk mengintegrasikan, memparalelkan, dan berbagi data. CodeFlare kemudian dapat digunakan untuk menyatukan alur kerja pipa di beberapa platform komputasi awan, tanpa mempelajari bahasa alur kerja baru untuk setiap jenis infrastruktur.
IBM mengatakan jaringan pipa dapat digunakan pada infrastruktur cloud apa pun, termasuk IBM Cloud Code Engine yang baru, yang merupakan platform tanpa server dan Red Hat OpenShift, plus juga menyediakan adaptor untuk pemicu peristiwa, seperti kedatangan file baru, yang berarti pipa dapat berintegrasi dan terhubung dengan ekosistem cloud-native lainnya, kata IBM. .
Selain itu, ini juga memungkinkan data dimuat dan dipartisi dari berbagai sumber, seperti penyimpanan objek cloud, data lake, dan sistem file terdistribusi.
Manfaat utama menggunakan CodeFlare untuk menyiapkan proyek pembelajaran mesin baru adalah kecepatan. Perusahaan mengklaim bahwa ketika salah satu penggunanya menerapkan CodeFlare untuk menganalisis dan mengoptimalkan 100,000 saluran pipa untuk melatih model pembelajaran mesin, itu mengurangi waktu untuk menjalankan masing-masing dari empat jam menjadi hanya 15 menit.
Kecepatan itu penting, IBM menjelaskan, karena kumpulan data semakin besar, yang berarti alur kerja pembelajaran mesin menjadi semakin kompleks dan kompleks. Dengan demikian, peneliti menghabiskan lebih banyak waktu untuk mengonfigurasi pengaturan mereka sebelum mereka dapat menyelesaikan sesuatu.
"IBM mengejar ini dengan menggunakan kode sumber terbuka CodeFlare sebagai kerangka kerja bagi pekerja data dan pengembang untuk membuat model kecerdasan buatan yang dapat berjalan di cloud apa pun," kata Mueller. "CodeFlare berjalan di RedHat OpenShift dan mencapai kemampuan multi-cloud dari sana."
IBM mengatakan bahwa:
CodeFlare akan menjadi open source hari ini tersedia di repositori IBM di GitHub, ditambah juga merilis beberapa contoh pipa CodeFlare yang telah dibuat dan yang berjalan di IBM Cloud dan Red Hat OpenShift.
Akhirnya jika Anda tertarik untuk mengetahui lebih banyak tentang itu atau dapat meninjau kode sumber CodeFlare, Anda dapat melakukannya dari tautan berikut.