A DuckDB egy készülőben lévő SQL OLAP adatbázis-kezelő rendszer
Bejelentették a DBMS új verziójának megjelenését DuckDB 0.6.0, verzió, amelyben javult az adattömörítés, amellett, hogy egyebek mellett új funkciókkal bővültek, valamint tárhelyfejlesztések történtek.
DuckDB kombinálja az SQLite tulajdonságait mint például a tömörség, az integrált könyvtár formájában való kapcsolódás lehetősége, az adatbázis egyetlen fájlban való tárolása és egy kényelmes CLI interfész, olyan eszközökkel és optimalizálással, amelyek a tárolt adatok jelentős részét lefedő analitikai lekérdezések végrehajtására szolgálnak, pl. amelyek elvégzik az összes táblatartalom összesítését vagy több nagy tábla összevonását.
A DuckDB 0.6.0 fő újdonságai
Ebben a bemutatott új verzióban kiemelik, hogy folytatódott a munka a tárolási formátum javításán, amellett lemezírási mód került megvalósításra, ahol egy nagy adathalmaz betöltésekor az adatok tömörítése és adatfolyamba kerül az adatbázisból anélkül, hogy megvárná a COMMIT parancsot a tranzakció véglegesítéséhez.
Egy másik változás, amely kiemelkedik az új verzióban, az hozzáadott támogatás az adatok különálló táblákba történő párhuzamos betöltéséhez, ami jelentősen megnövelheti a betöltési sebességet a többmagos rendszereken. Például a régi verzióban egy 150 millió sort tartalmazó adatbázis betöltése 10 magos CPU-n 91 másodpercig tartott, az új verzióban ez a művelet 17 másodpercig tart. A párhuzamos betöltésnek két módja van: rekord rendelés megőrzéssel és rendelés megőrzés nélkül.
Az adattömörítéshez az FSST algoritmust használjuk (Static Symbols Quick Table), amely lehetővé teszi az adatok sorokba történő becsomagolását a típusegyezések általános szótárával. Az új algoritmus alkalmazásával a tesztadatbázis mérete 761 MB-ról 251 MB-ra csökkenthető.
A számok tömörítésére (DOUBLE és FLOAT) a csimpánz és a patas algoritmusok javasoltak. Az előző Gorillas algoritmushoz képest a Chimp magasabb szintű tömörítést és gyorsabb dekompressziót biztosít. A Patas algoritmus a tömörítés terén elmarad a Chimp mögött, de lényegesen gyorsabb a dekompressziós sebességben, ami nagyjából megegyezik a tömörítetlen adatok olvasásával.
Azt is meg kell jegyezni, hogy hozzáadták kísérleti lehetőség adatok betöltésére CSV-fájlokból több párhuzamos adatfolyamban (SET experimental_parallel_csv=true), ami jelentősen csökkenti a nagy CSV-fájlok betöltési idejét. Például, amikor az opció engedélyezve volt, a 720 MB-os CSV-fájl letöltési ideje 3,5 másodpercről 0,6 másodpercre csökkent.
A többi változás közül amelyek kiemelkednek ebből az új verzióból:
- Megvalósult az indexkészítési és -kezelési műveletek párhuzamos végrehajtásának lehetősége.
- Az SQL lehetőséget biztosít olyan lekérdezések kialakítására, amelyek a „SELECT” helyett „FROM” szóval kezdődnek. Ebben az esetben feltételezzük, hogy a lekérdezés "SELECT *" karakterrel kezdődik.
- Hozzáadott támogatás a "COLUMNS" kifejezéshez az SQL-ben, lehetővé téve egy művelet végrehajtását több oszlopon a kifejezés megkettőzése nélkül.
- Optimalizált memóriafogyasztás. A Linux platformon alapértelmezés szerint a jemalloc könyvtárat használják a memóriakezelésre. Jelentősen javult a hash egyesítési műveletek teljesítménye korlátozott memória esetén.
- ".mode duckbox" kimeneti mód hozzáadva a CLI-hez, a középső oszlopok elvetése a terminálablak vonalszélessége alapján). A ".maxrows X" paraméterrel a kimeneti sorok számát is korlátozhatja.
- A CLI kontextusfüggő beviteli automatikus kiegészítést biztosít (a kulcsszavak, táblanevek, függvények, oszlopnevek és fájlnevek bevitele befejeződött).
- A CLI alapértelmezés szerint engedélyezve van a lekérdezés folyamatjelzőjének megjelenítésére.
végre, ha az vagy érdekelne többet megtudni róla, ellenőrizheti a részleteket A következő linken.