KedroプロジェクトのGitHubページ
Kedroは、コンサルティング会社McKinseyの一部門によって開発された最初のオープンソースツールです。 データサイエンティストやエンジニアが使用するために作成されました。 は データとパイプの作成に使用できるコードライブラリ、機械学習プロジェクトの構成要素。
McKinsey＆Companyは、アメリカのグローバル経営コンサルティング会社です。 定性的および定量的分析を実行して、公共部門と民間部門の管理上の決定を評価します。 彼のクライアントには、世界最大の企業の80％が含まれています。
最初のオープンソースツール
同社はこれまで、オープンソースライセンスの下で社内で開発されたツールのXNUMXつをリリースしたことはありませんでした。 実際、Kedroはプロプライエタリソフトウェアとして生まれました。 しかし、会社との関係が終了すると、顧客はプログラムにアクセスできなくなりました。
ケドロの名前は センターまたはコアのギリシャ語。 このオープンソースツールが高度な分析プロジェクトを作成するための重要なコードを提供するために選択されました。
KedroにはXNUMXつの主な利点があります。
- 分析コードを統一された方法で構造化することにより、チームはより簡単にコラボレーションできます。
- これにより、すべてのコンポーネントがプロジェクトのすべての段階をシームレスに流れることができます。
これには
- データソースの統合、
- データクレンジング
- 特徴の作成
- 説明分析または予測分析のために、データを機械学習モデルにフィードします。
ケドロも すぐに使用できるコードの提供に役立ちます。 これは、通常はソフトウェア作成の専門家ではないデータサイエンティストにとって非常に便利です。
Kedroが役立つのはなぜですか？
Kedroのようなオープンソースツールは プロトタイプを製品コードに変換するのにかかる時間を数週間短縮します。 アナリストは、コーディングに費やす時間を減らし、顧客のトラブルシューティングに多くの時間を費やすことができます。
Kedroは、チームがモジュラーデータチャネルを作成し、テストされ、あらゆる環境で再現可能で、バージョン管理されているため、ユーザーが以前のデータ状態にアクセスできるようにします。 同じコードを、クラウドコンピューティングを使用して、単一の開発者のラップトップからエンタープライズグレードのプロジェクトに渡すことができます。 また、すべての業界、モデル、およびデータソースで使用できます。
マッキンゼーはこれまでに50を超えるプロジェクトですでにKedroを使用しています。 ある幹部によると、顧客は特にパイプの視覚化を好みます。 変換のさまざまな段階、関連するモデルのタイプをすぐに確認し、結果を生データソースまでさかのぼることができます。
マッキンゼー テクノロジーに直接関係のない最初の会社ではありません オープンソースツールを公開しています。 UberとAirbnbはすでにそれを行っていました。
Kendroの機能とインストール
Kedroはのためのワークフロー開発ツールです 堅牢で、スケーラブルで、展開可能で、再現可能で、バージョン管理されたデータチャネルの作成。
ケドロの主な特徴は何ですか？
1.プロジェクトテンプレートとコーディング標準
- 使いやすい標準のプロジェクトテンプレート
- 資格情報、登録、データアップロード、Jupyter Notebooks / Labの設定。
- pytestを使用したテスト駆動開発
- 十分に文書化されたコードを生成するためのSphinx統合
2.データの抽出とバージョン管理
- さまざまなデータ形式とストレージオプションのサポートを含む、データ管理レイヤーからのコンピューティングレイヤーの分離。
- データセットと機械学習モデルのバージョン
3.パイプのモジュール性と抽象化
- コードの大きなチャンクを小さな独立したセクションに分割するための純粋なPython関数、ノードのサポート。
- ノード間の依存関係の自動解決
4.機能の拡張性
- Kedroのコマンドラインインターフェイス（CLI）にコマンドを挿入するプラグインシステム：Kedro-Airflow。ワークフロースケジューラであるAirflowにデプロイする前に、Kedroでデータパイプラインのプロトタイプを簡単に作成できます。 Kedro-Docker、Kedroプロジェクトをコンテナに梱包して出荷するためのツール
- Kedroは、ローカル、オンプレミス、クラウド（AWS、Azure、GCP）、またはクラスター（EMR、Azure HDinsight、GCP、Databricks）にデプロイできます。
次の方法で、事前に定義されたLinuxディストリビューションにKedroをインストールできます。
sudo apt install python3-pip
pip install kedro
実現するには：
pip3 install kedro -U
ドキュメントは次のように表示されます。
kedro docs
詳細については、次のURLをご覧ください。 プロジェクトページ