DuckDB yra kuriama SQL OLAP duomenų bazių valdymo sistema
Neseniai buvo paskelbta apie naujos DuckDB 0.5.0 versijos išleidimą, kuri yra plėtojama analitinės duomenų bazės valdymo sistema (DBVS), naudojama „Google“, „Facebook“ ir „Airbnb“.
DuckDB yra didelio našumo analitinė duomenų bazių sistema. Jis sukurtas taip, kad būtų greitas, patikimas ir paprastas naudoti. „DuckDB“ siūlo turtingą SQL dialektą, palaikantį daug daugiau nei pagrindinio SQL. DuckDB palaiko savavališkas ir įdėtas koreliuotas antrines užklausas, langų funkcijas, palyginimus, sudėtingus tipus (masyvus, struktūras) ir kt.
Tarp pagrindinių jo savybių išsiskiria šios:
- Paprastas montavimas
- Integruotas: nėra serverio valdymo
- Vieno failo saugojimo formatas
- Greitas analitinis apdorojimas
- Greitas perkėlimas tarp R/Python ir RDBMS
- Tai nepriklauso nuo jokios išorinės būsenos. Pavyzdžiui, atskiri konfigūracijos failai, aplinkos kintamasis.
- Vieno failo saugojimo formatas
- Komponuojama sąsaja. Sklandi SQL programinė API
- Visiškai ACID per MVCC
Apie DuckDB 0.5.0
Tarp naujovių yra „iš esmės“, kuria siekiama išspręsti problemas, kurios gali kilti, kai apdorojami duomenys yra didesni už atmintį, pasiūlant tarpinius rezultatus..
Nauja versija naudoja Adaptive Radix Tree (ART) indeksus taikyti apribojimus ir pagreitinti užklausų filtrus. Iki šiol indeksai nebuvo nuolatiniai, todėl kilo problemų, tokių kaip indekso informacijos praradimas ir ilgas duomenų apribotų lentelių įkėlimo laikas.
ART iš esmės tai bandymas pritaikyti vertikalų ir horizontalų suspaudimą kuriant kompaktiškas indeksų struktūras. Tikslai yra į medį panašios duomenų struktūros, kuriose kiekviename medžio lygyje yra informacijos apie tam tikrą duomenų rinkinio dalį. Paprastai jie iliustruojami simbolių eilutėmis.
Projektas taip pat papildė prisijungimo užsakymų optimizavimą, dažna problema analitinėse duomenų bazėse. Hyounas Parkas, „Amalgam Insights“ generalinis direktorius ir vyriausiasis analitikas, teigė, kad „DuckDB“ skiriasi tuo, kad tai yra maža programa, kuri veikia naudojant kodu pagrįstą darbo eigą, kad greitai nuskaitytų dideles duomenų saugyklas.
„DuckDB dažnai gali vykdyti duomenų užklausas tiesiogiai be tarpinio apdorojimo, o tai pagerina apdorojimą. Grynai technologiniu požiūriu jis yra šiek tiek panašus į Actian Vector, kuris taip pat naudoja stulpelių vektorizuotą OLAP užklausą, nors Actian yra skirtas gauti duomenis, o ne dirbti su procesu ar įkelti konkrečią užduotį. »
„DuckDB Labs“ teikia patarimus ir pagalbą. Vienas iš įkūrėjų ir generalinis direktorius Hannesas Mühleisenas, kuris taip pat bendrai parašė kodą ir prižiūri projektą, sakė, kad jį įkvėpė SQLite, be serverio OLTP duomenų bazės variklis, kuriame jis matė panašaus požiūrio, bet analitikos galimybę.
„DuckDB“ taip pat dažnai naudojamas kaip analizės ar valdymo rinkinio dalis. didesni duomenys. Pavyzdžiui, jei kas nors sukuria pasirinktinę programą, kuri renka duomenis, o tada nori sukurti SQL sąsają, pirmiausia jie turėjo nukopijuoti duomenis ir perkelti juos į kitą sistemą, o tai gali sukelti sinchronizavimo problemų, aiškino jis.
Atsisiųskite ir gaukite
Svarbu paminėti, kad pagrindiniame puslapyje aiškiai nurodyta, kad jis neturėtų būti naudojamas „didelės kliento/serverio įrenginiams, skirtiems centralizuotai įmonės duomenų saugojimui“.
Projektas ruošiasi išleisti 1.0 versiją, po kurio pakeitimų atlikti nebebus galima. Amsterdamo Matematikos ir teorinės informatikos centro Centrum Wiskunde & Informatica akademikų darbai DuckDB yra integruoti į pagrindinį procesą, verta paminėti, kad nėra DBVS serverio programinės įrangos, kurią būtų galima įdiegti, atnaujinti ar prižiūrėti.
Pavyzdžiui, „DuckDB Python“ paketas gali vykdyti užklausas tiesiai apie duomenis iš Python programinės įrangos bibliotekos, neimportuojant ir nekopijuojant duomenų. „DuckDB“ yra parašyta C++ kalba, yra nemokama ir atviro kodo pagal MIT licenciją.
Galite sužinoti daugiau apie tai, taip pat peržiūrėti diegimo vadovą, Šioje nuorodoje.