Kedro-prosjekt GitHub-side
Kedro er det første open source-verktøyet utviklet av en divisjon av konsulentselskapet McKinsey. Den ble opprettet for å brukes av dataforskere og ingeniører. Er en kodebibliotek som kan brukes til å lage data og rør, byggesteinene til et maskinlæringsprosjekt.
McKinsey & Company er et amerikansk globalt ledelseskonsulentselskap. Utfører kvalitative og kvantitative analyser for å evaluere ledelsesbeslutninger i offentlig og privat sektor. Hans kunder inkluderer 80% av verdens største selskaper.
Første åpen kildekodeverktøy
Selskapet hadde aldri før gitt ut et av verktøyene som er utviklet internt under en åpen kildekode-lisens. Faktisk ble Kedro født som proprietær programvare. Men da forholdet til selskapet ble avsluttet, hadde ikke kundene lenger tilgang til programmet.
Navnet Kedro kommer fra det greske ordet for sentrum eller kjerne. Det ble valgt fordi dette open source-verktøyet gir viktig kode for å produsere avanserte analyseprosjekter.
Kedro har to hovedfordeler:
- Det gjør det mulig for lag å samarbeide lettere ved å strukturere analytisk kode på en enhetlig måte.
- Det lar alle komponenter flyte sømløst gjennom alle trinn i et prosjekt.
Dette inkluderer
- Konsolidering av datakilder,
- Data rensing
- Feature Creation
- Gi dataene inn i maskinlæringsmodeller for forklarende eller prediktiv analyse.
Kedro også hjelper med å levere klar-til-bruk-kode. Dette gjør det veldig nyttig for dataforskere som vanligvis ikke er eksperter i programvareoppretting.
Hvorfor er Kedro nyttig?
Open source-verktøy som Kedro tillater reduser tiden det tar å transformere en prototype til produksjonskode med uker. Analytikere kan bruke mindre tid på koding og mer tid på å feilsøke kundene sine.
Kedro hjelper teamene med å lage modulære datakanaler, testet, reproduserbare i ethvert miljø og versjonert, slik at brukerne får tilgang til tidligere datatilstander. Den samme koden kan gå fra en enkelt utviklers bærbare datamaskin til et enterprise-grade prosjekt ved bruk av cloud computing. Den kan også brukes i alle bransjer, modeller og datakilder.
McKinsey har allerede brukt Kedro på mer enn 50 prosjekter til dags dato. Ifølge en leder, liker kundene spesielt visualiseringen av rørene. De ser umiddelbart de forskjellige transformasjonsstadiene, hvilke typer modeller som er involvert, og kan spore resultatene tilbake til rådatakilden.
McKinsey ikke det første selskapet som ikke er direkte relatert til teknologi som publiserer verktøy for åpen kildekode. Uber og Airbnb hadde allerede gjort det.
Kendro funksjoner og installasjon
Kedro er et arbeidsflytutviklingsverktøy for etablering av robuste, skalerbare, distribuerbare, reproduserbare og versjonerte datakanaler.
Hva er de viktigste egenskapene til Kedro?
1. Prosjektmal og kodingsstandarder
- En brukervennlig standard prosjektmal
- Innstillinger for legitimasjon, registrering, dataopplasting og Jupyter Notebooks / Lab.
- Testdrevet utvikling ved hjelp av pytest
- Sfinxintegrasjon for å produsere veldokumentert kode
2. Datautvinning og versjonering
- Separasjon av databehandlingslaget fra databehandlingslaget, inkludert støtte for forskjellige dataformater og lagringsalternativer.
- Versjoner for datasett og maskinlæringsmodeller
3. Modularitet og abstraksjon av rør
- Støtte for rene Python-funksjoner, noder, for å dele store biter av kode i små uavhengige seksjoner.
- Automatisk oppløsning av avhengigheter mellom noder
4. Utvidelse av funksjoner
- Et pluginsystem som injiserer kommandoer i Kedros kommandolinjegrensesnitt (CLI): Kedro-Airflow, noe som gjør det enkelt å prototype din datarørledning i Kedro før du distribuerer den til Airflow, en arbeidsflytplanlegger. Kedro-Docker, et verktøy for pakking og frakt av Kedro-prosjekter i containere
- Kedro kan distribueres lokalt, i lokalene og i skyen (AWS, Azure og GCP) eller i klynger (EMR, Azure HDinsight, GCP og Databricks).
Vi kan installere Kedro på vår forhåndshenviste Linux-distribusjon ved å gjøre:
sudo apt install python3-pip
pip install kedro
Å aktualisere:
pip3 install kedro -U
Vi kan se dokumentasjonen med:
kedro docs
Mer informasjon finner du på prosjektsiden