DuckDB és un sistema de gestió de base de dades SQL OLAP en procés
Es va donar a conèixer el llançament de la nova versió de DuckDB 0.9.0 amb nom clau «Undulata» en honor ànec de bec groc originari d'Àfrica. La nova edició es destaca per incloure el de hash Out-Of-Core, millores en el rendiment dels agregats de hash, millores en el rendiment i més.
DuckDB combina propietats de SQLite com la compacitat, la capacitat de connectar-se en forma de biblioteca integrada, l'emmagatzematge de la base de dades en un sol arxiu i una interfície CLI convenient, amb eines i optimitzacions per realitzar consultes analítiques cobrint una part significativa de les dades emmagatzemades, per exemple , que realitzen l'agregació de tot el contingut de les taules o fusionen diverses taules grans.
Principals novetats de DuckDB 0.9.0 Undulata
Una de les principals novetats de la nova versió de DuckDB 0.9.0, és potser la millora de rendiment amb Out-Of-Core hash, ja que ara en afegir grans conjunts de dades en processar consultes. S'esmenta que en utilitzar un motor d'execució de transmissió i un administrador de memòria intermèdia, DuckDB admet moltes operacions en conjunts de dades que superen la memòria.
En aquesta versió, la compatibilitat amb disk-spillings amplia encara més mitjançant la compatibilitat amb agregats de hash fora del nucli. Això resol el problema que l'operació finalitzi a causa de la manca de memòria en situacions en què les dades utilitzades per afegir la taula hash no caben a la RAM.
Una altra de les novetats que es destaca és que s'ha implementat el suport per a la compressió de cadenes i tipus de números sencers just abans que les dades entrin als operadors de classificació i agregació agrupats, cosa que ha reduït significativament el consum de memòria.
A més, també podrem trobar la càrrega automàtica d'extensions fiables i opcionalment s'instal·laran quan es facin servir en una consulta. S'esmenta que el conjunt de les extensions de càrrega automàtica es limita a les extensions oficials distribuïdes per DuckDB Labs.
Parlant d'extensions, també a DuckDB 0.9.0 Undulata es va afegir un complement per a AWS que proporciona capacitats que utilitzen l'SDK d'AWS. Aquesta extensió conté una funció LOAD_AWS_CREDENTIALS que utilitza AWS per obtenir i configurar credencials automàticament.
També en aquesta versió s'hi afegeix suport per a extensions carregables a DuckDB-WASM. Anteriorment, qualsevol extensió que volgués fer servir amb el client WASM havia d'estar integrada. Amb aquesta versió, les extensions es poden carregar dinàmicament. Quan es carrega una extensió, es baixa el paquet WASM i s'habilita la funcionalitat de l'extensió.
Dels altres canvis que es destaquen d'aquesta nova versió:
- S'ha habilitat la neteja automàtica de grups de files complets en fer una operació DELETE. També s'implementa l'opció de truncar el fitxer de la base de dades (reduint-ne la mida) després d'eliminar dades si els grups de línies eliminats estaven al final del fitxer.
- Es va millorar l'eficiència de l'emmagatzematge d'índexs ART utilitzats per verificar la unicitat o les claus primàries i externes. Per exemple, en comparació de la versió anterior, la mida de l'índex de prova va disminuir de 278 MB a 78 MB.
- Arreglar la regressió i arreglar el mecanisme d'esborrany
- S'ha corregit l'error de segmentació en afegir dades de la llista
- Prova ART i refactorització comparativa
- S'augmenta el límit de memòria a la prova per evitar falles de CI no deterministes
- S'ha afegit un complement experimental per llegir dades de l'emmagatzematge d'Azure. Aquesta extensió permet que DuckDB llegeixi de forma nativa dades emmagatzemades a Azure, de manera similar a com podeu llegir dades emmagatzemades a S3.
- Configuració de Jemalloc, més assignador de memòria intermèdia i eliminació de la còpia de cadenes redundants al diccionari parquet
- El client ha afegit suport experimental per a l'API PySpark.
- Es va afegir un complement experimental per llegir taules en format Apache Iceberg.
- Actualització de Julia a 0.8.1
- S'ha afegit conn.interrupt() a l'API de Python de DuckDB
- Arrelig als paràmetres de regressió x/i intercanviats
Finalment si estàs interessat a poder conèixer més sobre això, Pots consultar els detalls en el següent enllaç.