Sepanjang tahun lalu Microsoft terus membuka dan membuat projek sumber terbuka yang dengannya telah mula mengetepikan persaingan hebat itu kepada dunia sumber terbuka (atau sepertinya).
Dan ini bukan untuk meremehkan aktivitinya tetapi tidak seperti dekade terakhir di mana ia telah menyatakan perang terhadap sumber terbuka, keadaan telah berubah sekurang-kurangnya dalam beberapa tahun terakhir. Sebagai sejak kebelakangan ini Microsoft melancarkan kepada masyarakat yang telah membuat keputusan untuk membuka mengeluarkan projek pemprosesan data berskala besar, Data Accelerator, yang pada mulanya digunakan secara dalaman.
Sejak dikembangkan pada tahun 2017, projek ini telah digunakan secara besar-besaran ke pelbagai saluran kerja produk Microsoft.
Mengenai Pemecut Data
Data Accelerator bermula pada tahun 2017 sebagai projek pemprosesan data berskala besar di Bahagian Pembangun Microsoftyang akhirnya berjaya sampai ke Apache Spark atas sebab skala dan kepantasan.
Data Accelerator lebih daripada sekadar saluran antara EventHub dan pangkalan data.
Ini memungkinkan pengguna untuk membentuk kembali peristiwa yang masuk ketika mereka terus menyiarkan, dan kemudian mengarahkan bahagian yang berlainan dari peristiwa yang sama ke kedai data yang berbeza sambil memberikan pemantauan dan peringatan kesihatan untuk seluruh keadaan saluran paip.
Data Accelerator juga menyediakan konfigurasi antara muka pengguna dan pengalaman reka bentuk / pertanyaan yang membolehkan pengguna bangun dan berjalan tanpa perlu menulis kod apa pun.
Selain itu, sesiapa sahaja yang melakukan pemprosesan data penghantaran biasanya anda perlu menggunakan tetingkap gelangsar untuk memproses data, atau untuk memproses kelewatan untuk sampai ke data, atau untuk mengumpulkan data dari masa ke masa.
fungsi
Pemecut Data menyokong dan mempermudah penggunaan ciri-ciri canggih ini.
Menurut blog sumber terbuka Microsoft rasmi, beberapa kaedah Data Accelerator memudahkan untuk membuat aliran di Apache Spark:
Pasang dan Main: membolehkan anda mengkonfigurasi sumber input dan penerima output dengan mudah untuk membuat saluran paip dalam beberapa minit.
Data Accelerator menyokong pengambilan data dari Eventhub dan IoThub dan menyokong memuat turun data ke gumpalan Azure, CosmosDB, Eventhub, dan banyak lagi.
Pengalaman Tanpa Kod: menyokong keupayaan untuk mengkonfigurasi amaran dan pemprosesan data tanpa menulis kod.
Dengan kepakaran Rule Designer, anda dapat menentukan pemprosesan, penandaan, dan amaran data yang ringkas dan terkumpul.
Pertanyaan SQL: membolehkan penulisan pemprosesan kompleks dalam SQL, tidak perlu bekerja di Scala.
Model kepanjangan terbina dalam juga menyokong fungsi yang ditentukan pengguna dan memanfaatkan fungsi Azure, misalnya untuk streaming dalam ML.
Perundingan masa nyata: Menjimatkan persediaan dan masa memproses paip ujian dengan menjalankan sampel data yang masuk dan mengesahkan pertanyaan anda dalam beberapa saat.
Akhirnya, Microsoft menyebutkan bahawa pemecut data menyokong kitaran verifikasi cepat untuk gelung ujian pengembangan, di mana pertanyaan untuk acara tempatan yang disampel dapat diperbaiki secara berulang agar tersedia sebelum penyebaran, yang dapat menjimatkan banyak masa untuk memproses aliran kerja ujian.
Data Accelerator digunakan setiap hari oleh Bahagian Pembangun Microsoft dan akan terus melakukan penambahbaikan rantai alat dari masa ke masa, tetapi kami menyedari bahawa set alat dapat melakukan lebih banyak yang diperlukan.
Data Accelerator menawarkan kemungkinan kepada sesiapa sahaja yang ingin mengaktifkan dan mempermudah penggunaan ciri canggih ini.
Kami berharap dengan membuka projek ini, sebahagian daripada anda akan mendapati pemecut data lebih berguna.
Sekiranya anda ingin mendapatkan lebih banyak maklumat Mengenai kod Pemecut Data, anda boleh mengunjungi pengumuman di blog sumber terbuka Microsoft.