DuckDB je pripravovaný systém správy databáz SQL OLAP
Bolo oznámené vydanie novej verzie DBMS DuckDB 0.6.0, verzia v ktorej kompresia dát bola vylepšená, okrem toho, že pribudli nové funkcie a okrem iného aj vylepšenia úložiska.
DuckDB kombinovať vlastnosti SQLite ako je kompaktnosť, možnosť pripojenia vo forme integrovanej knižnice, uloženie databázy do jedného súboru a pohodlné rozhranie CLI s nástrojmi a optimalizáciami na vykonávanie analytických dotazov pokrývajúcich značnú časť uložených údajov, napr. ktoré vykonávajú agregáciu všetkého obsahu tabuľky alebo zlučujú viacero veľkých tabuliek.
Hlavné nové funkcie DuckDB 0.6.0
V tejto novej verzii, ktorá je prezentovaná, je zdôraznené, že pokračovali práce na zlepšení formátu úložiska, okrem toho bol implementovaný režim zápisu na disk, kde pri načítaní veľkého súboru údajov v jednej transakcii sú údaje komprimované a streamované do súboru z databázy bez čakania na príkaz COMMIT na potvrdenie transakcie.
Ďalšou zo zmien, ktorá vyniká v novej verzii, je tá pridaná podpora pre paralelné načítanie údajov do samostatných tabuliek, čo môže výrazne zvýšiť rýchlosť načítania na viacjadrových systémoch. Napríklad v starej verzii načítanie databázy so 150 miliónmi riadkov na 10-jadrový CPU trvalo 91 sekúnd a v novej verzii táto operácia trvá 17 sekúnd. Existujú dva režimy paralelného načítania: so zachovaním poradia záznamov a bez uchovania poradia.
Na kompresiu údajov sa používa algoritmus FSST (Rýchla tabuľka statických symbolov), ktorá vám umožňuje zbaliť údaje do riadkov pomocou bežného slovníka zhôd typov. Aplikácia nového algoritmu umožnila znížiť veľkosť testovacej databázy zo 761 MB na 251 MB.
Na kompresiu čísel (DOUBLE a FLOAT) sú navrhnuté algoritmy Chimp a Patas. V porovnaní s predchádzajúcim algoritmom Gorillas poskytuje Chimp vyššiu úroveň kompresie a rýchlejšiu dekompresiu. Algoritmus Patas zaostáva za Chimpom, pokiaľ ide o kompresiu, ale je výrazne rýchlejší v rýchlosti dekompresie, ktorá je približne rovnaká ako pri čítaní nekomprimovaných údajov.
Vyniká tiež tým, že bol pridaný experimentálna schopnosť načítať údaje zo súborov CSV vo viacerých paralelných prúdoch (SET experimental_parallel_csv=true), čo výrazne znižuje čas načítania veľkých súborov CSV. Napríklad, keď bola táto možnosť povolená, čas sťahovania súboru CSV s veľkosťou 720 MB sa skrátil z 3,5 sekundy na 0,6 sekundy.
Z ďalších zmien ktoré vyčnievajú z tejto novej verzie:
- Bola implementovaná možnosť paralelného vykonávania operácií vytvárania a správy indexov.
- SQL poskytuje možnosť vytvárať dotazy, ktoré začínajú slovom „FROM“ namiesto „SELECT“. V tomto prípade sa predpokladá, že dopyt začína "SELECT *".
- Pridaná podpora pre výraz "COLUMNS" v SQL, čo vám umožňuje vykonávať operáciu s viacerými stĺpcami bez duplikovania výrazu.
- Optimalizovaná spotreba pamäte. Štandardne na platforme Linux sa na správu pamäte používa knižnica jemalloc. Výrazne zlepšený výkon operácií spájania hash pri obmedzenej pamäti.
- Pridaný výstupný režim „.mode duckbox“ do CLI, vynechanie stredových stĺpcov na základe šírky riadkov okna terminálu). Pomocou parametra ".maxrows X" môžete tiež obmedziť počet výstupných riadkov.
- CLI poskytuje kontextové automatické dopĺňanie vstupu (zadávanie kľúčových slov, názvov tabuliek, funkcií, názvov stĺpcov a názvov súborov je dokončené).
- CLI je predvolene povolené na zobrazenie indikátora priebehu dotazu.
konečne ak si záujem dozvedieť sa o tom viac, môžete skontrolovať podrobnosti Na nasledujúcom odkaze.