DuckDB adalah sistem manajemen database SQL OLAP dalam pembuatan
Rilis versi baru DBMS diumumkan BebekDB 0.6.0, versi yang mana kompresi data telah ditingkatkan, selain fakta bahwa fungsi baru telah ditambahkan, serta peningkatan penyimpanan, antara lain.
BebekDB menggabungkan properti SQLite seperti kekompakan, kemampuan untuk terhubung dalam bentuk perpustakaan terintegrasi, penyimpanan database dalam satu file dan antarmuka CLI yang nyaman, dengan alat dan pengoptimalan untuk melakukan kueri analitik yang mencakup sebagian besar data yang disimpan, misalnya , yang melakukan agregasi semua isi tabel atau menggabungkan beberapa tabel besar.
Fitur baru utama dari DuckDB 0.6.0
Dalam versi baru yang disajikan ini, disorot bahwa pekerjaan dilanjutkan untuk meningkatkan format penyimpanan, Selain itu mode tulis disk telah diterapkan, di mana ketika kumpulan data besar dimuat dalam satu transaksi, data dikompresi dan dialirkan ke file dari database tanpa menunggu perintah COMMIT untuk melakukan transaksi.
Perubahan lain yang menonjol di versi baru adalah itu menambahkan dukungan untuk memuat data secara paralel ke dalam tabel terpisah, yang secara signifikan dapat meningkatkan kecepatan pemuatan pada sistem multicore. Misalnya, di versi lama, memuat database dengan 150 juta baris pada CPU 10 inti membutuhkan waktu 91 detik, dan di versi baru, operasi ini membutuhkan waktu 17 detik. Ada dua mode pembebanan paralel: dengan pemeliharaan urutan rekaman dan tanpa pelestarian urutan.
Untuk kompresi data, algoritma FSST digunakan (Tabel Cepat Simbol Statis), yang memungkinkan Anda mengemas data dalam baris menggunakan kamus umum pencocokan jenis. Penerapan algoritme baru memungkinkan untuk mengurangi ukuran basis data pengujian dari 761 MB menjadi 251 MB.
Untuk mengompres angka (DOUBLE dan FLOAT), algoritma Simpanse dan Patas diusulkan. Dibandingkan dengan algoritma Gorillas sebelumnya, Chimp memberikan tingkat kompresi yang lebih tinggi dan dekompresi yang lebih cepat. Algoritme Patas tertinggal dari Simpanse dalam hal kompresi, tetapi secara signifikan lebih cepat dalam kecepatan dekompresi, yang hampir sama dengan membaca data yang tidak terkompresi.
Juga dicatat bahwa itu ditambahkan kemampuan eksperimental untuk memuat data dari file CSV dalam beberapa aliran paralel (SET eksperimental_parallel_csv=true), yang secara signifikan mengurangi waktu muat untuk file CSV besar. Misalnya, saat opsi diaktifkan, waktu pengunduhan untuk file CSV 720 MB berkurang dari 3,5 detik menjadi 0,6 detik.
Dari perubahan lainnya yang menonjol dari versi baru ini:
- Kemungkinan eksekusi paralel dari pembuatan indeks dan operasi manajemen telah diterapkan.
- SQL menyediakan kemampuan untuk membentuk kueri yang dimulai dengan kata "DARI", bukan "PILIH". Dalam hal ini, kueri diasumsikan dimulai dengan "SELECT *".
- Menambahkan dukungan untuk ekspresi "COLUMNS" di SQL, memungkinkan Anda melakukan operasi pada banyak kolom tanpa menduplikasi ekspresi.
- Konsumsi memori yang dioptimalkan. Secara default pada platform Linux, perpustakaan jemalloc digunakan untuk manajemen memori. Secara signifikan meningkatkan kinerja operasi penggabungan hash saat memori terbatas.
- Menambahkan mode keluaran ".mode duckbox" ke CLI, membuang kolom tengah berdasarkan lebar garis jendela terminal). Dengan parameter ".maxrows X", Anda juga dapat membatasi jumlah baris keluaran.
- CLI menyediakan pelengkapan otomatis input sadar konteks (kata kunci, nama tabel, fungsi, nama kolom, dan input nama file selesai).
- CLI diaktifkan secara default untuk menampilkan indikator kemajuan kueri.
akhirnya jika kamu tertarik untuk mengetahui lebih banyak tentangnya, Anda dapat memeriksa detailnya Di tautan berikut.