ماكينزي تقدم Kedro ، أول أداة مفتوحة المصدر لها

Kedro هي أول أداة مفتوحة المصدر تم تطويرها بواسطة قسم من شركة الاستشارات McKinsey. تم إنشاؤه ليستخدمه علماء ومهندسو البيانات. هو مكتبة التعليمات البرمجية التي يمكن استخدامها لإنشاء البيانات والأنابيب، اللبنات الأساسية لمشروع التعلم الآلي.

ماكينزي آند كومباني هي شركة استشارات إدارية عالمية أمريكية. إجراء التحليلات النوعية والكمية لتقييم قرارات الإدارة في القطاعين العام والخاص. يضم عملاؤه 80٪ من أكبر الشركات في العالم.

أول أداة مفتوحة المصدر

لم تكن الشركة قد أطلقت من قبل أحد الأدوات التي تم تطويرها داخليًا بموجب ترخيص مفتوح المصدر. في الواقع ، وُلد Kedro كبرنامج احتكاري. ومع ذلك ، عندما انتهت العلاقة مع الشركة ، لم يعد بإمكان العملاء الوصول إلى البرنامج.

الاسم Kedro مشتق من الكلمة اليونانية لمركز أو جوهر. تم اختياره لأن هذه الأداة مفتوحة المصدر توفر رمزًا مهمًا لإنتاج مشاريع التحليل المتقدمة.

لدى Kedro ميزتان رئيسيتان:

• إنها تمكن الفرق من التعاون بسهولة أكبر عن طريق هيكلة الكود التحليلي بطريقة موحدة.
• يسمح لجميع المكونات بالتدفق بسلاسة خلال جميع مراحل المشروع.

هذا يشمل

• توحيد مصادر البيانات ،
• تنقية البيانات
• خلق ميزة
• قم بتغذية البيانات في نماذج التعلم الآلي للتحليل التوضيحي أو التنبؤي.

كيدرو أيضًا يساعد في تقديم رمز جاهز للاستخدام. هذا يجعلها مفيدة حقًا لعلماء البيانات الذين ليسوا عادةً خبراء في إنشاء البرامج.

لماذا يعد Kedro مفيدًا؟

تسمح الأدوات مفتوحة المصدر مثل Kedro تقليل الوقت المستغرق لتحويل النموذج الأولي إلى كود إنتاج بأسابيع. يمكن للمحللين قضاء وقت أقل في الترميز ومزيد من الوقت في استكشاف أخطاء عملائهم.

يساعد Kedro الفرق على إنشاء قنوات بيانات معيارية ، تم اختبارها ، وقابلة للتكرار في أي بيئة وإصدارها ، مما يتيح للمستخدمين الوصول إلى حالات البيانات السابقة يمكن أن ينتقل نفس الرمز من كمبيوتر محمول لمطور واحد إلى مشروع على مستوى المؤسسة باستخدام الحوسبة السحابية. يمكن استخدامه أيضًا مع جميع الصناعات والنماذج ومصادر البيانات.

استخدمت McKinsey بالفعل Kedro في أكثر من 50 مشروعًا حتى الآن. وفقًا لأحد المسؤولين التنفيذيين ، يحب العملاء بشكل خاص تصور الأنابيب. يرون على الفور المراحل المختلفة للتحول ، وأنواع النماذج المتضمنة ، ويمكنهم تتبع النتائج إلى مصدر البيانات الخام.

ماكينزي إنها ليست أول شركة لا ترتبط مباشرة بالتكنولوجيا التي تنشر أدوات مفتوحة المصدر. لقد قامت شركتا Uber و Airbnb بذلك بالفعل.

ميزات Kendro والتثبيت

Kedro هي أداة لتطوير سير العمل لـ إنشاء قنوات بيانات قوية وقابلة للتطوير وقابلة للنشر وقابلة للتكرار وذات إصدار.

ما هي الخصائص الرئيسية لـ Kedro؟

1. نموذج المشروع ومعايير الترميز

• قالب مشروع قياسي سهل الاستخدام
• إعدادات بيانات الاعتماد والتسجيل وتحميل البيانات وأجهزة Jupyter Notebooks / Lab.
• تطوير يعتمد على الاختبار باستخدام بيتيست
• تكامل Sphinx لإنتاج كود موثق جيدًا

2. استخراج البيانات وإصدارها

• فصل طبقة الحوسبة عن طبقة إدارة البيانات ، بما في ذلك دعم تنسيقات البيانات المختلفة وخيارات التخزين.
• إصدارات لمجموعات البيانات ونماذج التعلم الآلي

3. نمطية وتجريد الأنابيب

• دعم وظائف Python النقية ، والعقد ، لتقسيم أجزاء كبيرة من التعليمات البرمجية إلى أقسام صغيرة مستقلة.
• الدقة التلقائية للتبعيات بين العقد

4. القابلية للتوسعة من الميزات

• نظام مكون إضافي يقوم بحقن الأوامر في واجهة سطر أوامر Kedro (CLI): Kedro-Airflow ، مما يجعل من السهل إنشاء نموذج أولي لخط أنابيب البيانات في Kedro قبل نشره في Airflow ، وهو برنامج جدولة سير العمل. Kedro-Docker ، أداة لتعبئة وشحن مشاريع Kedro في حاويات
• يمكن نشر Kedro محليًا وفي أماكن العمل وفي السحابة (AWS و Azure و GCP) أو في مجموعات (EMR و Azure HDinsight و GCP و Databricks).

يمكننا تثبيت Kedro على توزيعة Linux المشار إليها مسبقًا من خلال القيام بما يلي:

sudo apt install python3-pip
pip install kedro

لتحقيق:
pip3 install kedro -U

يمكننا أن نرى الوثائق مع:
kedro docs
يمكن العثور على مزيد من المعلومات في صفحة المشروع