DuckDB on loomisel olev SQL OLAP-i andmebaasihaldussüsteem
Teatati DBMS-i uue versiooni väljaandmisest DuckDB 0.6.0, milles versioon andmete tihendamine on paranenud, lisaks sellele, et lisandunud on muuhulgas uusi funktsioone ja ka salvestusruumi täiustusi.
DuckDB kombineerida SQLite atribuute nagu kompaktsus, võimalus ühendada integreeritud teegi kujul, andmebaasi salvestamine ühes failis ja mugav CLI liides koos tööriistade ja optimeerimisega analüütiliste päringute tegemiseks, mis hõlmavad olulist osa salvestatud andmetest, näiteks , mis koondavad kogu tabeli sisu või ühendavad mitu suurt tabelit.
DuckDB 0.6.0 peamised uued funktsioonid
Selles esitletavas uues versioonis on rõhutatud, et jätkus töö salvestusvormingu täiustamiseks, peale selle ketta kirjutamise režiim on rakendatud, kus ühe tehinguga suure andmestiku laadimisel tihendatakse andmed ja voogedastatakse andmebaasist faili, ootamata tehingu sooritamiseks käsku COMMIT.
Veel üks muudatus, mis uues versioonis silma paistab, on see lisatud tugi andmete paralleelseks laadimiseks eraldi tabelitesse, mis võib mitmetuumaliste süsteemide laadimiskiirust märkimisväärselt suurendada. Näiteks vanas versioonis kulus 150-tuumalisele protsessorile 10 miljoni reaga andmebaasi laadimine 91 sekundit ja uues versioonis 17 sekundit. Paralleellaadimisel on kaks režiimi: kirjetellimuse säilitamisega ja ilma tellimuse säilitamiseta.
Andmete tihendamiseks kasutatakse FSST algoritmi (Static Symbols Quick Table), mis võimaldab pakkida andmeid ridadesse, kasutades tavalist tüüpi vastete sõnastikku. Uue algoritmi rakendamine võimaldas vähendada testandmebaasi suurust 761 MB-lt 251 MB-le.
Numbrite tihendamiseks (DOUBLE ja FLOAT) pakutakse välja Chimp ja Patas algoritmid. Võrreldes eelmise Gorillase algoritmiga pakub Chimp kõrgemat tihendustaset ja kiiremat dekompressiooni. Patase algoritm jääb tihendamiselt Chimpile alla, kuid on oluliselt kiirem dekompressioonikiiruselt, mis on umbes sama, mis tihendamata andmete lugemisel.
Samuti märgitakse, et see lisati eksperimentaalne võimalus laadida andmeid CSV-failidest mitme paralleelse voogu (SET experimental_parallel_csv=true), mis vähendab oluliselt suurte CSV-failide laadimisaega. Näiteks kui suvand oli lubatud, vähenes 720 MB CSV-faili allalaadimisaeg 3,5 sekundilt 0,6 sekundile.
Muudest muudatustest mis eristuvad sellest uuest versioonist:
- Rakendatud on indeksi loomise ja haldamise operatsioonide paralleelse teostamise võimalus.
- SQL annab võimaluse moodustada päringuid, mis algavad sõnaga "FROM" mitte "SELECT". Sel juhul eeldatakse, et päring algab tähega "SELECT *".
- Lisatud SQL-i avaldise "COLUMNS" tugi, mis võimaldab teil teha toimingu mitme veeruga ilma avaldist dubleerimata.
- Optimeeritud mälu tarbimine. Vaikimisi kasutatakse Linuxi platvormil mälu haldamiseks jemalloci teeki. Märkimisväärselt paranenud räsiühendamistoimingute jõudlus, kui mälu on piiratud.
- Lisati CLI-le ".mode duckbox" väljundrežiim, jättes kõrvale keskmised veerud terminali akna joonte laiuse alusel). Parameetriga ".maxrows X" saate piirata ka väljundridade arvu.
- CLI pakub kontekstiteadlikku sisendi automaatset lõpetamist (märksõnade, tabelinimede, funktsioonide, veergude ja failinimede sisestamine on lõpetatud).
- CLI on päringu edenemise indikaatori kuvamiseks vaikimisi lubatud.
lõpuks kui oled huvitatud sellest rohkem teada, saate üksikasju vaadata Järgmisel lingil.