DuckDB është një sistem i menaxhimit të bazës së të dhënave SQL OLAP në zhvillim e sipër
U njoftua lëshimi i versionit të ri të DBMS DuckDB 0.6.0, version në të cilin Kompresimi i të dhënave është përmirësuar, përveç faktit që janë shtuar funksione të reja, ndër të tjera edhe përmirësime të ruajtjes.
DuckDB kombinoni vetitë e SQLite të tilla si kompaktësia, aftësia për t'u lidhur në formën e një biblioteke të integruar, ruajtja e bazës së të dhënave në një skedar të vetëm dhe një ndërfaqe e përshtatshme CLI, me mjete dhe optimizime për kryerjen e pyetjeve analitike që mbulojnë një pjesë të konsiderueshme të të dhënave të ruajtura, për shembull, të cilat kryejnë grumbullimin e të gjitha përmbajtjeve të tabelës ose bashkojnë tabela të shumta të mëdha.
Karakteristikat kryesore të reja të DuckDB 0.6.0
Në këtë version të ri që prezantohet, theksohet se vazhdoi puna për përmirësimin e formatit të ruajtjes, Përveç kësaj është zbatuar një modalitet shkrimi në disk, ku kur një grup i madh të dhënash ngarkohet në një transaksion, të dhënat kompresohen dhe transmetohen në një skedar nga baza e të dhënave pa pritur që komanda COMMIT të kryejë transaksionin.
Një tjetër nga ndryshimet që bie në sy në versionin e ri është se shtoi mbështetje për ngarkimin paralel të të dhënave në tabela të veçanta, e cila mund të rrisë ndjeshëm shpejtësinë e ngarkimit në sistemet me shumë bërthama. Për shembull, në versionin e vjetër, ngarkimi i një baze të dhënash me 150 milionë rreshta në një CPU me 10 bërthama zgjati 91 sekonda, dhe në versionin e ri, ky operacion zgjat 17 sekonda. Ekzistojnë dy mënyra të ngarkimit paralel: me ruajtjen e rendit të regjistrimit dhe pa ruajtjen e rendit.
Për kompresimin e të dhënave, përdoret algoritmi FSST (Tabela e shpejtë e simboleve statike), e cila ju lejon të paketoni të dhënat brenda rreshtave duke përdorur një fjalor të zakonshëm të përputhjeve të tipit. Aplikimi i algoritmit të ri lejoi të zvogëlojë madhësinë e bazës së të dhënave të testit nga 761 MB në 251 MB.
Për të kompresuar numrat (DOUBLE dhe FLOAT) propozohen algoritmet Chimp dhe Patas. Krahasuar me algoritmin e mëparshëm Gorillas, Chimp siguron një nivel më të lartë të kompresimit dhe dekompresion më të shpejtë. Algoritmi Patas mbetet pas Chimp-it për sa i përket kompresimit, por është dukshëm më i shpejtë në shpejtësinë e dekompresimit, që është pothuajse e njëjtë me leximin e të dhënave të pakompresuara.
Gjithashtu bie në sy se është shtuar një aftësi eksperimentale për të ngarkuar të dhëna nga skedarët CSV në transmetime të shumta paralele (SET eksperimental_parallel_csv=true), i cili redukton ndjeshëm kohën e ngarkimit për skedarët e mëdhenj CSV. Për shembull, kur opsioni u aktivizua, koha e shkarkimit për një skedar CSV 720 MB u reduktua nga 3,5 sekonda në 0,6 sekonda.
Nga ndryshimet e tjera që dallohen nga ky version i ri:
- Është zbatuar mundësia e ekzekutimit paralel të operacioneve të krijimit dhe menaxhimit të indekseve.
- SQL ofron mundësinë për të formuar pyetje që fillojnë me fjalën "FROM" në vend të "SELECT". Në këtë rast, pyetja supozohet të fillojë me "SELECT *".
- Mbështetje e shtuar për shprehjen "COLUMNS" në SQL, duke ju lejuar të kryeni një operacion në kolona të shumta pa dublikuar shprehjen.
- Konsumi i optimizuar i memories. Si parazgjedhje në platformën Linux, biblioteka jemalloc përdoret për menaxhimin e kujtesës. Performanca e përmirësuar ndjeshëm e operacioneve të bashkimit hash kur memoria është e kufizuar.
- U shtua modaliteti i daljes ".mode duckbox" në CLI, duke hedhur poshtë kolonat qendrore bazuar në gjerësinë e linjave të dritares së terminalit). Me parametrin ".maxrows X", mund të kufizoni gjithashtu numrin e rreshtave të daljes.
- CLI siguron plotësimin automatik të hyrjes me vetëdije për kontekstin (futja e fjalëve kyçe, emrave të tabelave, funksioneve, emrave të kolonave dhe emrave të skedarëve është përfunduar).
- CLI është aktivizuar si parazgjedhje për të shfaqur një tregues të përparimit të pyetjes.
më në fund nëse jeni të interesuar të dinë më shumë për të, ju mund të kontrolloni detajet Në lidhjen vijuese.