Stranica GitHub projekta Kedro
Kedro je prvi alat otvorenog koda koji je razvila podjela konzultantske tvrtke McKinsey. Stvoren je za upotrebu znanstvenika i inženjera podataka. Je biblioteka kodova koja se može koristiti za stvaranje podataka i cijevi, gradivni elementi projekta strojnog učenja.
McKinsey & Company američka je globalna tvrtka za savjetovanje u upravljanju. Provodi kvalitativne i kvantitativne analize za procjenu upravljačkih odluka u javnom i privatnom sektoru. Njegovi klijenti uključuju 80% najvećih svjetskih korporacija.
Prvi alat otvorenog koda
Tvrtka nikada prije nije objavila jedan od alata razvijenih u tvrtki pod licencom otvorenog koda. U stvari, Kedro je rođen kao vlastiti softver. Međutim, kad je veza s tvrtkom završila, kupci više nisu imali pristup programu.
Ime Kedro potječe od grčka riječ za središte ili jezgru. Odabran je jer ovaj alat otvorenog koda pruža ključni kôd za izradu projekata napredne analize.
Kedro ima dvije glavne prednosti:
- Omogućuje timovima lakšu suradnju strukturiranjem analitičkog koda na dosljedan način
- Omogućuje svim komponentama neometan protok kroz sve faze projekta.
To uključuje
- Konsolidacija izvora podataka,
- Čišćenje podataka
- Stvaranje značajke
- Unesite podatke u modele strojnog učenja za objašnjavajuću ili prediktivnu analizu.
Kedro također pomaže u isporuci koda spremnog za upotrebu. To ga čini stvarno korisnim za znanstvenike koji obično nisu stručnjaci za izradu softvera.
Zašto je Kedro koristan?
Alati otvorenog koda poput Kedro dopuštaju smanjite vrijeme potrebno za pretvaranje prototipa u proizvodni kod za nekoliko tjedana. Analitičari mogu potrošiti manje vremena na kodiranje i više vremena na rješavanje problema svojih kupaca.
Kedro pomaže timovima u stvaranju modularnih podatkovnih kanala, testiranih, ponovljivih u bilo kojem okruženju i verzijama, omogućavajući korisnicima pristup prethodnim stanjima podataka. Isti taj kôd može prijeći od prijenosnog računala pojedinog programera do poslovnog projekta koji koristi računalstvo u oblaku. Također se može koristiti sa svim industrijama, modelima i izvorima podataka.
McKinsey je Kedro već koristio na više od 50 projekata do danas. Prema riječima jednog rukovoditelja, kupci posebno vole vizualizaciju cijevi. Oni odmah vide različite faze transformacije, vrste uključenih modela i mogu pratiti rezultate natrag do sirovog izvora podataka.
McKinsey nije prva tvrtka koja nije izravno povezana s tehnologijom koja objavljuje alate otvorenog koda. Uber i Airbnb su to već učinili.
Kendro značajke i instalacija
Kedro je alat za razvoj tijeka rada za stvaranje robusnih, skalabilnih, raspoloživih, ponovljivih i verzioniranih podatkovnih kanala.
Koje su glavne karakteristike Kedra?
1. Predložak projekta i standardi kodiranja
- Jednostavan za korištenje, standardni predložak projekta
- Postavke za vjerodajnice, registraciju, prijenos podataka i Jupyter bilježnice / laboratorij.
- Testni razvoj pomoću pytesta
- Integracija Sphinxa za stvaranje dobro dokumentiranog koda
2. Izdvajanje podataka i izrada verzija
- Odvajanje računalnog sloja od sloja upravljanja podacima, uključujući podršku za različite formate podataka i mogućnosti pohrane.
- Verzije za vaše skupove podataka i modele strojnog učenja
3. Modularnost i apstrakcija cijevi
- Podrška za čiste Python funkcije, čvorove, za dijeljenje velikih dijelova koda u male neovisne odjeljke.
- Automatsko rješavanje ovisnosti između čvorova
4. Proširivost značajki
- Sustav dodataka koji ubacuje naredbe u Kedroovo sučelje naredbenog retka (CLI): Kedro-Airflow, olakšavajući prototipiranje vašeg podatkovnog cjevovoda u Kedru prije nego što ga rasporedi u Airflow, planeru tijeka rada. Kedro-Docker, alat za pakiranje i otpremu Kedro projekata u kontejnere
- Kedro se može implementirati lokalno, u prostorijama i u oblaku (AWS, Azure i GCP) ili u klasterima (EMR, Azure HDinsight, GCP i Databricks).
Kedro možemo instalirati na našu unaprijed referenciranu Linux distribuciju na sljedeći način:
sudo apt install python3-pip
pip install kedro
Da biste se aktualizirali:
pip3 install kedro -U
Dokumentaciju možemo vidjeti sa:
kedro docs
Više informacija možete pronaći na stranica projekta