DuckDB je SQL OLAP sustav za upravljanje bazom podataka u izradi
Najavljen je izlazak nove verzije DBMS-a DuckDB 0.6.0, verzija u kojoj poboljšana je kompresija podataka, uz činjenicu da su dodane nove funkcije, kao i poboljšanja pohrane, između ostalog.
DuckDB kombiniraju SQLite svojstva kao što su kompaktnost, mogućnost povezivanja u obliku integrirane knjižnice, pohranjivanje baze podataka u jednu datoteku i prikladno CLI sučelje, s alatima i optimizacijama za izvođenje analitičkih upita koji pokrivaju značajan dio pohranjenih podataka, na primjer, koji vrše agregaciju svih sadržaja tablica ili spajaju više velikih tablica.
Glavne nove značajke DuckDB 0.6.0
U ovoj novoj verziji koja je predstavljena, to je istaknuto nastavljen rad na poboljšanju formata pohrane, osim toga implementiran je način pisanja na disk, gdje kada se veliki skup podataka učita u jednoj transakciji, podaci se komprimiraju i prenose u datoteku iz baze podataka bez čekanja na naredbu COMMIT za izvršenje transakcije.
Još jedna od promjena koja se ističe u novoj verziji je ta dodana podrška za paralelno učitavanje podataka u zasebne tablice, što može značajno povećati brzinu učitavanja na višejezgrenim sustavima. Na primjer, u staroj verziji učitavanje baze podataka sa 150 milijuna redaka na CPU s 10 jezgri trajalo je 91 sekundu, au novoj verziji ova operacija traje 17 sekundi. Postoje dva načina paralelnog učitavanja: s čuvanjem reda zapisa i bez čuvanja reda.
Za kompresiju podataka koristi se FSST algoritam (Static Symbols Quick Table), koja vam omogućuje pakiranje podataka unutar redaka pomoću zajedničkog rječnika podudaranja tipa. Primjena novog algoritma omogućila je smanjenje veličine testne baze podataka sa 761 MB na 251 MB.
Za komprimiranje brojeva (DOUBLE i FLOAT) predlažu se algoritmi Chimp i Patas. U usporedbi s prethodnim algoritmom Gorillas, Chimp pruža višu razinu kompresije i bržu dekompresiju. Patasov algoritam zaostaje za Chimpom u pogledu kompresije, ali je značajno brži u brzini dekompresije, što je otprilike jednako kao kod čitanja nekomprimiranih podataka.
Također se ističe da je dodan eksperimentalna mogućnost učitavanja podataka iz CSV datoteka u više paralelnih tokova (SET experimental_parallel_csv=true), što značajno smanjuje vrijeme učitavanja velikih CSV datoteka. Na primjer, kada je opcija bila omogućena, vrijeme preuzimanja za CSV datoteku od 720 MB smanjeno je s 3,5 sekundi na 0,6 sekundi.
Od ostalih promjena koji se ističu u ovoj novoj verziji:
- Implementirana je mogućnost paralelnog izvođenja operacija kreiranja i upravljanja indeksima.
- SQL pruža mogućnost formiranja upita koji počinju riječju "FROM" umjesto "SELECT". U ovom slučaju pretpostavlja se da upit počinje s "SELECT *".
- Dodana je podrška za izraz "COLUMNS" u SQL-u, što vam omogućuje izvođenje operacije na više stupaca bez dupliciranja izraza.
- Optimizirana potrošnja memorije. Prema zadanim postavkama na Linux platformi za upravljanje memorijom koristi se biblioteka jemalloc. Značajno poboljšana izvedba operacija spajanja hashiranja kada je memorija ograničena.
- Dodan način izlaza ".mode duckbox" u CLI, odbacujući središnje stupce na temelju širine linija prozora terminala). S parametrom ".maxrows X" također možete ograničiti broj izlaznih redaka.
- CLI omogućuje automatsko dovršavanje unosa s obzirom na kontekst (ključne riječi, nazivi tablica, funkcije, nazivi stupaca i nazivi datoteka su dovršeni).
- CLI je prema zadanim postavkama omogućen za prikaz indikatora napredovanja upita.
konačno ako jesi zainteresiran za saznanje više o tome, možete provjeriti detalje U sljedećem linku.