Stranica GitHub projekta Kedro
Kedro je prvi alat otvorenog koda koji je razvila podjela konsultantske kuće McKinsey. Stvoren je za upotrebu od strane naučnika i inženjera podataka. Je biblioteka koda koja se može koristiti za stvaranje podataka i cijevi, gradivni elementi projekta mašinskog učenja.
McKinsey & Company je američka globalna kompanija za savjetovanje o upravljanju. Vrši kvalitativne i kvantitativne analize za procjenu upravljačkih odluka u javnom i privatnom sektoru. Njegovi klijenti uključuju 80% najvećih svjetskih korporacija.
Prvi alat otvorenog koda
Kompanija nikada ranije nije objavila jedan od alata razvijenih u preduzeću pod licencom otvorenog koda. U stvari, Kedro je rođen kao zaštićeni softver. Međutim, kada je veza s kompanijom prestala, kupci više nisu imali pristup programu.
Ime Kedro potiče od grčka riječ za središte ili jezgro. Odabran je jer ovaj alat otvorenog koda pruža ključni kod za izradu projekata napredne analize.
Kedro ima dvije glavne prednosti:
- Omogućava timovima lakšu suradnju strukturiranjem analitičkog koda na jedinstven način.
- Omogućava svim komponentama neometan protok kroz sve faze projekta.
To uključuje
- Konsolidacija izvora podataka,
- Čišćenje podataka
- Stvaranje karakteristika
- Unesite podatke u modele mašinskog učenja za objašnjenje ili predviđanje analize.
Kedro takođe pomaže u isporuci koda spremnog za upotrebu. To ga čini zaista korisnim za naučnike podataka koji obično nisu stručnjaci za stvaranje softvera.
Zašto je Kedro koristan?
Alati otvorenog koda poput Kedro omogućavaju smanjite vrijeme potrebno za pretvaranje prototipa u proizvodni kod za nekoliko tjedana. Analitičari mogu potrošiti manje vremena na kodiranje, a više na rješavanje problema sa svojim kupcima.
Kedro pomaže timovima u stvaranju modularnih kanala podataka, testiranih, ponovljivih u bilo kojem okruženju i verzijama, omogućavajući korisnicima pristup prethodnim stanjima podataka. Isti taj kôd može preći sa laptopa jednog programera na projekt korporativnog nivoa koristeći računarstvo u oblaku. Takođe se može koristiti sa svim industrijama, modelima i izvorima podataka.
McKinsey je Kedro već koristio na više od 50 projekata do danas. Prema riječima jednog rukovodioca, kupci posebno vole vizualizaciju cijevi. Oni odmah vide različite faze transformacije, vrste uključenih modela i mogu pratiti rezultate natrag do sirovog izvora podataka.
McKinsey nije prva kompanija koja nije izravno povezana s tehnologijom koja objavljuje alate otvorenog koda. Uber i Airbnb su to već učinili.
Kendro karakteristike i instalacija
Kedro je alat za razvoj toka posla za stvaranje robusnih, skalabilnih, raspoloživih, ponovljivih i verzionisanih kanala podataka.
Koje su glavne karakteristike Kedra?
1. Predložak projekta i standardi kodiranja
- Jednostavan za korištenje, standardni predložak projekta
- Postavke za vjerodajnice, registraciju, prijenos podataka i Jupyter bilježnice / laboratorij.
- Razvoj vođen testom pomoću pytesta
- Sphinx integracija za proizvodnju dobro dokumentovanog koda
2. Izdvajanje podataka i izrada verzija
- Odvajanje računarskog sloja od sloja upravljanja podacima, uključujući podršku za različite formate podataka i opcije skladištenja.
- Verzije za vaše skupove podataka i modele mašinskog učenja
3. Modularnost i apstrakcija cijevi
- Podrška za čiste Python funkcije, čvorove, za podjelu velikih dijelova koda u male neovisne odjeljke.
- Automatsko rješavanje ovisnosti između čvorova
4. Proširivost karakteristika
- Sistem dodataka koji ubacuje naredbe u Kedroov interfejs naredbenog retka (CLI): Kedro-Airflow, olakšavajući prototipiranje vašeg cjevovoda podataka u Kedru prije nego što ga rasporedi u Airflow, planeru toka posla. Kedro-Docker, alat za pakiranje i otpremu Kedro projekata u kontejnere
- Kedro se može primeniti lokalno, u prostorijama i u oblaku (AWS, Azure i GCP) ili u klasterima (EMR, Azure HDinsight, GCP i Databricks).
Kedro možemo instalirati na našu unaprijed referenciranu Linux distribuciju tako što ćemo učiniti:
sudo apt install python3-pip
pip install kedro
Da biste aktualizirali:
pip3 install kedro -U
Dokumentaciju možemo vidjeti sa:
kedro docs
Više informacija možete naći na stranicu projekta