Stran GitHub projekta Kedro
Kedro je prvo odprtokodno orodje, ki ga je razvila oddelek svetovalne družbe McKinsey. Ustvarjen je bil za uporabo podatkovnih znanstvenikov in inženirjev. Je knjižnica kod, ki se lahko uporablja za ustvarjanje podatkov in kanalov, gradniki projekta strojnega učenja.
McKinsey & Company je ameriška globalna svetovalna družba za upravljanje. Izvaja kvalitativne in kvantitativne analize za vrednotenje odločitev o upravljanju v javnem in zasebnem sektorju. Njegove stranke vključujejo 80% največjih svetovnih korporacij.
Prvo odprtokodno orodje
Družba še nikoli ni izdala enega od orodij, razvitih v lastni režiji pod odprtokodno licenco. Pravzaprav se je Kedro rodil kot lastniška programska oprema. Ko pa se je razmerje s podjetjem končalo, kupci niso imeli več dostopa do programa.
Ime Kedro izhaja iz grška beseda za središče ali jedro. Izbrali so ga zato, ker to odprtokodno orodje ponuja ključno kodo za izdelavo naprednih analiznih projektov.
Kedro ima dve glavni prednosti:
- Skupinam omogoča lažje sodelovanje z enotnim strukturiranjem analitične kode.
- Omogoča nemoten pretok vseh komponent skozi vse faze projekta.
To vključuje
- Konsolidacija virov podatkov,
- Čiščenje podatkov
- Ustvarjanje funkcije
- Podatke vnesite v modele strojnega učenja za razlagalno ali napovedno analizo.
Tudi Kedro pomaga dostaviti kodo, ki je pripravljena za uporabo. Zaradi tega je resnično koristen za podatkovne znanstvenike, ki običajno niso strokovnjaki za ustvarjanje programske opreme.
Zakaj je Kedro koristen?
Odprtokodna orodja, kot je Kedro, omogočajo zmanjšajte čas, potreben za pretvorbo prototipa v proizvodno kodo, za tedne. Analitiki lahko porabijo manj časa za kodiranje in več časa za odpravljanje težav s svojimi strankami.
Kedro pomaga skupinam pri ustvarjanju modularnih podatkovnih kanalov, preizkušenih, ponovljivih v katerem koli okolju in z različicami, kar uporabnikom omogoča dostop do prejšnjih podatkovnih stanj. To isto kodo lahko z enega računalnika razvijalca prenesete v projekt podjetja, ki uporablja računalništvo v oblaku. Uporablja se lahko tudi v vseh panogah, modelih in virih podatkov.
McKinsey je Kedro doslej že uporabil pri več kot 50 projektih. Po mnenju enega vodje je kupcem še posebej všeč vizualizacija cevi. Takoj vidijo različne stopnje preoblikovanja, vrste vključenih modelov in lahko izsledijo rezultate nazaj do surovega podatkovnega vira.
McKinsey ni prvo podjetje, ki ni neposredno povezano s tehnologijo ki objavlja odprtokodna orodja. Uber in Airbnb sta to že storila.
Kendro funkcije in namestitev
Kedro je orodje za razvoj delovnega toka za ustvarjanje robustnih, razširljivih, uporabljivih, ponovljivih in različno spremenjenih podatkovnih kanalov.
Katere so glavne značilnosti Kedra?
1. Predloga projekta in standardi kodiranja
- Enostavna standardna predloga projekta
- Nastavitve za poverilnice, registracijo, nalaganje podatkov in Jupyter Notebooks / Lab.
- Testno voden razvoj z uporabo pytesta
- Integracija Sphinxa za izdelavo dobro dokumentirane kode
2. Izvleček in različice podatkov
- Ločitev računalniške plasti od ravni za upravljanje podatkov, vključno s podporo za različne oblike podatkov in možnosti shranjevanja.
- Različice za vaše nabore podatkov in modele strojnega učenja
3. Modularnost in odvzem cevi
- Podpora za čiste Pythonove funkcije, vozlišča, za razdelitev velikih kosov kode na majhne neodvisne odseke.
- Samodejna ločljivost odvisnosti med vozlišči
4. Razširljivost funkcij
- Sistem vtičnikov, ki vbrizga ukaze v Kedrov vmesnik ukazne vrstice (CLI): Kedro-Airflow, kar olajša prototipiranje vašega podatkovnega cevovoda v Kedru, preden ga razporedite v Airflow, načrtovalnik delovnega toka. Kedro-Docker, orodje za pakiranje in pošiljanje Kedro projektov v zabojnike
- Kedro je mogoče razmestiti lokalno, v prostorih in v oblaku (AWS, Azure in GCP) ali v grozdih (EMR, Azure HDinsight, GCP in Databricks).
Kedro lahko namestimo v našo referenčno distribucijo Linuxa, tako da naredimo:
sudo apt install python3-pip
pip install kedro
Za uresničitev:
pip3 install kedro -U
Dokumentacijo si lahko ogledamo z:
kedro docs
Več informacij najdete na strani projekta