Halaman GitHub projek Kedro
Kedro adalah alat sumber terbuka pertama yang dikembangkan oleh bahagian firma perunding McKinsey. Ia diciptakan untuk digunakan oleh para saintis dan jurutera data. Ialah perpustakaan kod yang boleh digunakan untuk membuat data dan paip, blok pembinaan projek pembelajaran mesin.
McKinsey & Company adalah syarikat perunding pengurusan global Amerika. Melakukan analisis kualitatif dan kuantitatif untuk menilai keputusan pengurusan di sektor awam dan swasta. Pelanggannya merangkumi 80% syarikat terbesar di dunia.
Alat sumber terbuka pertama
Syarikat ini belum pernah mengeluarkan salah satu alat yang dibangunkan secara dalaman di bawah lesen sumber terbuka. Sebenarnya, Kedro dilahirkan sebagai perisian proprietari. Namun, ketika hubungan dengan syarikat itu berakhir, pelanggan tidak lagi dapat mengakses program ini.
Nama Kedro berasal dari perkataan Yunani untuk pusat atau inti. Ini dipilih kerana alat sumber terbuka ini memberikan kod penting untuk menghasilkan projek analisis lanjutan.
Kedro mempunyai dua kelebihan utama:
- Ini membolehkan pasukan berkolaborasi dengan lebih mudah dengan menyusun kod analisis dengan cara yang seragam.
- Ia membolehkan semua komponen mengalir dengan lancar ke semua peringkat projek.
Ini termasuk
- Penyatuan sumber data,
- Pembersihan data
- Penciptaan Ciri
- Masukkan data ke dalam model pembelajaran mesin untuk analisis penjelasan atau ramalan.
Kedro juga membantu menyampaikan kod yang siap digunakan. Ini menjadikannya sangat berguna bagi saintis data yang biasanya tidak pakar dalam pembuatan perisian.
Mengapa Kedro berguna?
Alat sumber terbuka seperti Kedro allow kurangkan masa yang diperlukan untuk mengubah prototaip menjadi kod pengeluaran mengikut minggu. Penganalisis dapat menghabiskan lebih sedikit masa untuk membuat kod dan lebih banyak masa untuk menyelesaikan masalah pelanggan mereka.
Kedro membantu pasukan membuat saluran data modular, diuji, dapat dihasilkan semula di mana-mana persekitaran dan versi, yang membolehkan pengguna mengakses keadaan data sebelumnya. Kod yang sama boleh digunakan dari komputer riba pemaju tunggal ke projek bertaraf perusahaan menggunakan pengkomputeran awan. Ini juga dapat digunakan dengan semua industri, model dan sumber data.
McKinsey telah menggunakan Kedro pada lebih daripada 50 projek sehingga kini. Menurut seorang eksekutif, pelanggan terutamanya menyukai visualisasi paip. Mereka segera melihat tahap transformasi yang berbeza, jenis model yang terlibat, dan dapat mengesan hasilnya kembali ke sumber data mentah.
McKinsey bukan syarikat pertama yang tidak berkaitan langsung dengan teknologi yang menerbitkan alat sumber terbuka. Uber dan Airbnb telah melakukannya.
Ciri dan Pemasangan Kendro
Kedro adalah alat pengembangan aliran kerja untuk penciptaan saluran data yang kuat, berskala, dapat digunakan, boleh dihasilkan semula dan versi.
Apa ciri utama Kedro?
1. Templat projek dan standard pengekodan
- Templat projek standard yang mudah digunakan
- Tetapan untuk kelayakan, pendaftaran, muat naik data dan Jupyter Notebook / Lab.
- Pembangunan berasaskan ujian menggunakan pytest
- Integrasi Sphinx untuk menghasilkan kod yang didokumentasikan dengan baik
2. Pengekstrakan dan pengubahan data
- Pemisahan lapisan pengkomputeran dari lapisan pengurusan data, termasuk sokongan untuk format data yang berbeza dan pilihan penyimpanan.
- Versi untuk set data dan model pembelajaran mesin anda
3. Modulariti dan pengambilan paip
- Sokongan untuk fungsi, node Python tulen, untuk membahagikan sebahagian besar kod menjadi bahagian bebas kecil.
- Penyelesaian kebergantungan automatik antara nod
4. Kepanjangan ciri
- Sistem pemalam yang menyuntikkan perintah ke antara muka baris perintah Kedro (CLI): Kedro-Airflow, menjadikannya mudah untuk membuat prototaip saluran data Anda di Kedro sebelum menyebarkannya ke Airflow, penjadwal aliran kerja. Kedro-Docker, alat untuk mengemas dan menghantar projek Kedro dalam bekas
- Kedro dapat dikerahkan secara lokal, di premis dan di awan (AWS, Azure, dan GCP) atau dalam kelompok (EMR, Azure HDinsight, GCP, dan Databricks).
Kami boleh memasang Kedro pada edaran Linux yang telah dirujuk dengan melakukan:
sudo apt install python3-pip
pip install kedro
Untuk mewujudkan:
pip3 install kedro -U
Kami dapat melihat dokumentasinya dengan:
kedro docs
Lebih banyak maklumat boleh didapati di halaman projek