DuckDB je SQL OLAP sistem upravljanja bazom podataka u nastajanju
Najavljeno je izlazak nove verzije DBMS-a DuckDB 0.6.0, verzija u kojoj kompresija podataka je poboljšana, pored toga što su dodane nove funkcije, kao i poboljšanja pohrane, između ostalog.
DuckDB kombinuju svojstva SQLite-a kao što su kompaktnost, mogućnost povezivanja u obliku integrisane biblioteke, skladištenje baze podataka u jednu datoteku i pogodan CLI interfejs, sa alatima i optimizacijama za izvođenje analitičkih upita koji pokrivaju značajan deo pohranjenih podataka, na primer, koji izvode agregaciju svih sadržaja tabele ili spajaju više velikih tabela.
Glavne nove karakteristike DuckDB 0.6.0
U ovoj novoj verziji koja je predstavljena, to je naglašeno nastavljen je rad na poboljšanju formata pohrane, pored toga implementiran je način pisanja na disk, gdje kada se veliki skup podataka učita u jednoj transakciji, podaci se komprimiraju i prenose u datoteku iz baze podataka bez čekanja da naredba COMMIT izvrši transakciju.
Još jedna od promjena koja se ističe u novoj verziji je to dodata podrška za paralelno učitavanje podataka u zasebne tabele, što može značajno povećati brzinu učitavanja na višejezgarnim sistemima. Na primjer, u staroj verziji učitavanje baze podataka sa 150 miliona redova na 10-jezgrenom CPU-u trajalo je 91 sekundu, au novoj verziji ova operacija traje 17 sekundi. Postoje dva načina paralelnog učitavanja: sa očuvanjem naloga i bez očuvanja naloga.
Za kompresiju podataka koristi se FSST algoritam (Brza tabela statičkih simbola), koja vam omogućava da spakujete podatke u redove koristeći uobičajeni rečnik podudaranja tipova. Primjena novog algoritma omogućila je smanjenje veličine testne baze podataka sa 761 MB na 251 MB.
Za komprimiranje brojeva (DOUBLE i FLOAT) predlažu se algoritmi Chimp i Patas. U poređenju sa prethodnim algoritmom Gorillas, Chimp pruža viši nivo kompresije i bržu dekompresiju. Patas algoritam zaostaje za Chimpom u smislu kompresije, ali je znatno brži u brzini dekompresije, što je otprilike isto kao i čitanje nekomprimiranih podataka.
Takođe se napominje da je dodan eksperimentalna mogućnost učitavanja podataka iz CSV datoteka u više paralelnih tokova (SET experimental_parallel_csv=true), što značajno smanjuje vrijeme učitavanja za velike CSV datoteke. Na primjer, kada je opcija omogućena, vrijeme preuzimanja CSV datoteke od 720 MB smanjeno je sa 3,5 sekundi na 0,6 sekundi.
Od ostalih promjena koji se ističu iz ove nove verzije:
- Implementirana je mogućnost paralelnog izvršavanja operacija kreiranja indeksa i upravljanja.
- SQL pruža mogućnost formiranja upita koji počinju riječju "FROM" umjesto "SELECT". U ovom slučaju, pretpostavlja se da upit počinje sa "SELECT *".
- Dodata podrška za izraz "COLUMNS" u SQL-u, omogućavajući vam da izvršite operaciju na više stupaca bez dupliciranja izraza.
- Optimizirana potrošnja memorije. Po defaultu na Linux platformi, jemalloc biblioteka se koristi za upravljanje memorijom. Značajno poboljšane performanse operacija spajanja hešova kada je memorija ograničena.
- Dodan režim izlaza ".mode duckbox" u CLI, odbacujući centralne kolone na osnovu širine linija terminalnog prozora). Sa parametrom ".maxrows X" također možete ograničiti broj izlaznih redova.
- CLI omogućava automatsko dovršavanje unosa svjesno konteksta (unos ključnih riječi, imena tablica, funkcija, imena kolona i imena datoteka je završen).
- CLI je podrazumevano omogućen da prikaže indikator napredovanja upita.
konačno ako jesi zainteresovani da saznaju više o tome, možete provjeriti detalje Na sledećem linku.