DuckDB は作成中の SQL OLAP データベース管理システムです
DBMS の新バージョンのリリースが発表されました ダックDB 0.6.0、バージョン データ圧縮が改善されました、新機能が追加されたことに加えて、ストレージの改善などがあります。
ダックDB SQLite プロパティを組み合わせる コンパクトさ、統合ライブラリの形で接続する機能、単一ファイルへのデータベースの保存、便利な CLI インターフェイスなど、保存されたデータの重要な部分をカバーする分析クエリを実行するためのツールと最適化など。すべてのテーブル コンテンツの集計を実行するか、複数の大きなテーブルをマージします。
DuckDB 0.6.0の主な新機能
提示されるこの新しいバージョンでは、次のことが強調されています。 ストレージ形式の改善に向けた作業が続けられました。 それに加えて ディスク書き込みモードが実装されました、大きなデータ セットが XNUMX つのトランザクションで読み込まれると、COMMIT コマンドがトランザクションをコミットするのを待たずに、データが圧縮され、データベースからファイルにストリーミングされます。
新しいバージョンで際立っているもう XNUMX つの変更点は、 個別のテーブルへのデータの並列ロードのサポートを追加、これにより、マルチコア システムでの読み込み速度が大幅に向上します。 たとえば、古いバージョンでは、150 コアの CPU で 10 億 91 万行のデータベースをロードするのに 17 秒かかり、新しいバージョンでは、この操作に XNUMX 秒かかりました。 並列ロードには、レコード順序保存ありと順序保存なしの XNUMX つのモードがあります。
データ圧縮には、FSST アルゴリズムが使用されます。 (Static Symbols Quick Table) を使用すると、型が一致する共通の辞書を使用して、行内にデータをパックできます。 新しいアルゴリズムの適用により、テスト データベースのサイズを 761 MB から 251 MB に削減することができました。
数値を圧縮するために (DOUBLE および FLOAT)、Chimp および Patas アルゴリズムが提案されています。 以前の Gorillas アルゴリズムと比較して、Chimp はより高いレベルの圧縮とより高速な解凍を提供します。 Patas アルゴリズムは、圧縮に関しては Chimp に遅れをとっていますが、解凍速度は非常に速く、圧縮されていないデータの読み取りとほぼ同じです。
追加されたことも目立ちます 複数の並列ストリームで CSV ファイルからデータをロードする実験的機能 これにより、大きな CSV ファイルの読み込み時間が大幅に短縮されます。 たとえば、このオプションを有効にすると、720MB の CSV ファイルのダウンロード時間が 3,5 秒から 0,6 秒に短縮されました。
その他の変更点 この新しいバージョンから際立っている：
- インデックスの作成と管理操作の並列実行の可能性が実装されました。
- SQL は、"SELECT" ではなく "FROM" という単語で始まるクエリを作成する機能を提供します。 この場合、クエリは「SELECT *」で始まると想定されます。
- SQL の「COLUMNS」式のサポートが追加され、式を複製せずに複数の列に対して操作を実行できるようになりました。
- 最適化されたメモリ消費。 Linux プラットフォームでは、デフォルトで jemalloc ライブラリがメモリ管理に使用されます。 メモリが限られている場合のハッシュ マージ操作のパフォーマンスが大幅に向上しました。
- CLI に「.mode ダックボックス」出力モードを追加し、ターミナル ウィンドウの行幅に基づいて中央の列を破棄します)。 「.maxrows X」パラメーターを使用すると、出力行数を制限することもできます。
- CLI は、コンテキストに応じた入力オートコンプリートを提供します (キーワード、テーブル名、関数、列名、およびファイル名の入力が完了します)。
- CLI はデフォルトで有効になっており、クエリの進行状況インジケーターを表示します。
最後にあなたが それについてもっと知りたい、詳細を確認できます 次のリンクで。