DuckDB är ett SQL OLAP-databashanteringssystem i vardande
Släppningen av den nya versionen av DBMS tillkännagavs DuckDB 0.6.0, version i vilken datakomprimering har förbättrats, förutom att nya funktioner tillkommit, samt lagringsförbättringar bland annat.
DuckDB kombinera SQLite-egenskaper såsom kompakthet, möjligheten att ansluta i form av ett integrerat bibliotek, lagring av databasen i en enda fil och ett bekvämt CLI-gränssnitt, med verktyg och optimeringar för att utföra analytiska frågor som täcker en betydande del av den lagrade datan, till exempel , som utför aggregering av allt tabellinnehåll eller slår samman flera stora tabeller.
De viktigaste nya funktionerna i DuckDB 0.6.0
I denna nya version som presenteras lyfts det fram att arbetet fortsatte med att förbättra lagringsformatet, Förutom det ett diskskrivläge har implementerats, där när en stor datamängd laddas i en transaktion komprimeras data och strömmas till en fil från databasen utan att vänta på COMMIT-kommandot för att utföra transaktionen.
En annan av förändringarna som sticker ut i den nya versionen är det lagt till stöd för parallell laddning av data till separata tabeller, vilket avsevärt kan öka laddningshastigheten på flerkärniga system. Till exempel, i den gamla versionen, tog det 150 sekunder att ladda en databas med 10 miljoner rader på en 91-kärnig CPU, och i den nya versionen tar denna operation 17 sekunder. Det finns två lägen för parallell laddning: med bevarande av rekordorder och utan ordningsbevarande.
För datakomprimering används FSST-algoritmen (Static Symbols Quick Table), som låter dig packa data inom rader med hjälp av en vanlig ordbok med typmatchningar. Tillämpningen av den nya algoritmen gjorde det möjligt att minska storleken på testdatabasen från 761 MB till 251 MB.
För att komprimera siffror (DOUBLE och FLOAT) föreslås Chimp och Patas-algoritmerna. Jämfört med den tidigare Gorillas-algoritmen ger Chimp en högre nivå av komprimering och snabbare dekompression. Patas-algoritmen ligger efter Chimp vad gäller komprimering, men är betydligt snabbare i dekompressionshastighet, vilket är ungefär detsamma som att läsa okomprimerad data.
Det noteras också att det tillsattes en experimentell förmåga att ladda data från CSV-filer i flera parallella strömmar (SET experimental_parallel_csv=true), vilket avsevärt minskar laddningstiden för stora CSV-filer. Till exempel, när alternativet var aktiverat, minskade nedladdningstiden för en 720 MB CSV-fil från 3,5 sekunder till 0,6 sekunder.
Av de andra förändringarna som sticker ut från den här nya versionen:
- Möjligheten till parallellt genomförande av indexskapande och förvaltningsverksamhet har implementerats.
- SQL ger möjlighet att skapa frågor som börjar med ordet "FRÅN" istället för "VÄLJ". I det här fallet antas frågan börja med "SELECT *".
- Lade till stöd för uttrycket "COLUMNS" i SQL, så att du kan utföra en operation på flera kolumner utan att duplicera uttrycket.
- Optimerad minnesförbrukning. Som standard på Linux-plattformen används jemalloc-biblioteket för minneshantering. Avsevärt förbättrad prestanda för hash-fusionsoperationer när minnet är begränsat.
- Lade till ".mode duckbox"-utgångsläge till CLI, och kasserade mittkolumner baserat på linjebredden i terminalfönstret). Med parametern ".maxrows X" kan du också begränsa antalet utgångsrader.
- CLI tillhandahåller kontextmedveten inmatning av autokomplettering (inmatning av sökord, tabellnamn, funktioner, kolumnnamn och filnamn har slutförts).
- CLI är aktiverat som standard för att visa en frågeförloppsindikator.
äntligen om du är det intresserad av att veta mer om detkan du kontrollera detaljerna I följande länk.