Kedro projekti GitHubi leht
Kedro on esimene avatud lähtekoodiga tööriist, mille on välja töötanud konsultatsioonifirma McKinsey osakond. See loodi kasutamiseks andmeteadlaste ja inseneride poolt. On koodide kogu, mida saab kasutada andmete ja torude loomiseks, masinõppeprojekti ehitusplokid.
McKinsey & Company on Ameerika globaalne juhtimiskonsultatsioonide ettevõte. Teostab kvalitatiivseid ja kvantitatiivseid analüüse, et hinnata juhtimisotsuseid avalikus ja erasektoris. Tema klientide hulka kuulub 80% maailma suurimatest korporatsioonidest.
Esimene avatud lähtekoodiga tööriist
Ettevõte polnud kunagi varem üht avatud ettevõttega litsentsi alusel ettevõttes välja töötatud tööriista välja andnud. Tegelikult sündis Kedro varalise tarkvarana. Kui aga suhted ettevõttega lõppesid, polnud klientidel enam programmile juurdepääsu.
Nimi Kedro tuleneb kreeka sõna keskus või südamik. See valiti seetõttu, et see avatud lähtekoodiga tööriist pakub olulist koodi täpsemate analüüsiprojektide loomiseks.
Kedrol on kaks peamist eelist:
- See võimaldab meeskondadel hõlpsamat koostööd teha, struktureerides analüütilise koodi ühetaoliselt.
- See võimaldab kõigil komponentidel sujuvalt voolata läbi projekti kõigi etappide.
See hõlmab
- Andmeallikate konsolideerimine,
- Andmete puhastamine
- Funktsiooni loomine
- Andke andmed masinaõppemudelitesse selgitava või ennustava analüüsi jaoks.
Kedro ka aitab tarnida kasutusvalmis koodi. See muudab selle tõeliselt kasulikuks andmeteadlastele, kes pole tavaliselt tarkvara loomise eksperdid.
Miks on Kedro kasulik?
Sellised avatud lähtekoodiga tööriistad nagu Kedro lubavad vähendada prototüübi tootekoodiks muutmiseks kuluvat aega nädalate kaupa. Analüütikud saavad kulutada vähem aega kodeerimisele ja rohkem aega klientide tõrkeotsingule.
Kedro aitab meeskondadel luua moodulseid andmekanaleid, mis on testitud, igas keskkonnas taasesitatavad ja versioonid, võimaldades kasutajatel pääseda juurde varasematele andmeseisunditele. Sama kood võib minna ühest arendaja sülearvutist pilvandmetöötlust kasutava ettevõtteklassi projektini. Seda saab kasutada ka kõigi tööstusharude, mudelite ja andmeallikate puhul.
McKinsey on kasutanud Kedrot juba praeguseks enam kui 50 projektis. Ühe juhi sõnul meeldib klientidele torude visualiseerimine eriti. Nad näevad kohe erinevaid teisendamisetappe, kaasatud mudelitüüpe ja saavad tulemusi jälgida algandmete allikani.
McKinsey mitte esimene ettevõte, mis pole otseselt seotud tehnoloogiaga mis avaldab avatud lähtekoodiga tööriistu. Uber ja Airbnb olid selle juba teinud.
Kendro funktsioonid ja installimine
Kedro on töövoo arendamise tööriist usaldusväärsete, skaleeritavate, juurutatavate, taasesitatavate ja versioonidega andmekanalite loomine.
Mis on Kedro peamised omadused?
1. Projekti mall ja kodeerimisstandardid
- Lihtsalt kasutatav standardne projekti mall
- Mandaatide, registreerimise, andmete üleslaadimise ja Jupyteri märkmike / labori seaded.
- Testpõhine arendamine pytesti abil
- Sfinksi integreerimine hästi dokumenteeritud koodi loomiseks
2. Andmete väljavõtmine ja versioonimine
- Arvutuskihi eraldamine andmehalduse kihist, sealhulgas erinevate andmevormingute ja salvestusvõimaluste tugi.
- Teie andmekogumite ja masinõppemudelite versioonid
3. Torude modulaarsus ja abstraktsioon
- Toetus puhtatele Pythoni funktsioonidele, sõlmedele, et jagada suured kooditükid väikesteks iseseisvateks osadeks.
- Sõlmede vaheliste sõltuvuste automaatne lahendamine
4. Funktsioonide laiendatavus
- Pistikprogrammisüsteem, mis süstib käske Kedro käsurea liidesesse (CLI): Kedro-Airflow, mis muudab teie Kedilo andmesidetorustiku prototüübi valmistamise hõlpsaks enne selle juurutamist töövoo ajastajale Airflow. Kedro-Docker, tööriist Kedro projektide konteineritesse pakkimiseks ja saatmiseks
- Kedro saab juurutada kohapeal, ruumides ja pilves (AWS, Azure ja GCP) või klastrites (EMR, Azure HDinsight, GCP ja Databricks).
Kedro saab meie eelviidatud Linuxi jaotusse installida järgmiselt:
sudo apt install python3-pip
pip install kedro
Aktiveerimiseks tehke järgmist.
pip3 install kedro -U
Dokumentatsiooni näeme järgmiselt:
kedro docs
Lisateavet leiate aadressilt projekti lehele