DuckDB là một hệ thống quản lý cơ sở dữ liệu SQL OLAP đang được
Việc phát hành phiên bản mới của DBMS đã được công bố VịtDB 0.6.0, phiên bản trong đó nén dữ liệu đã được cải thiện, ngoài thực tế là các chức năng mới đã được thêm vào, cũng như các cải tiến về bộ nhớ, trong số những thứ khác.
VịtDB kết hợp các thuộc tính SQLite chẳng hạn như tính nhỏ gọn, khả năng kết nối dưới dạng thư viện tích hợp, lưu trữ cơ sở dữ liệu trong một tệp duy nhất và giao diện CLI thuận tiện, với các công cụ và tối ưu hóa để thực hiện các truy vấn phân tích bao gồm một phần quan trọng của dữ liệu được lưu trữ, chẳng hạn , thực hiện tổng hợp tất cả nội dung bảng hoặc hợp nhất nhiều bảng lớn.
Các tính năng mới chính của DuckDB 0.6.0
Trong phiên bản mới này được trình bày, nó được nhấn mạnh rằng công việc tiếp tục cải thiện định dạng lưu trữ, bên cạnh đó một chế độ ghi đĩa đã được thực hiện, trong đó khi một tập dữ liệu lớn được tải trong một giao dịch, dữ liệu sẽ được nén và truyền trực tuyến đến một tệp từ cơ sở dữ liệu mà không cần chờ lệnh COMMIT để thực hiện giao dịch.
Một trong những thay đổi nổi bật trong phiên bản mới là đã thêm hỗ trợ tải song song dữ liệu vào các bảng riêng biệt, có thể tăng đáng kể tốc độ tải trên các hệ thống đa lõi. Ví dụ: trong phiên bản cũ, tải cơ sở dữ liệu với 150 triệu hàng trên CPU 10 nhân mất 91 giây và trong phiên bản mới, thao tác này mất 17 giây. Có hai chế độ tải song song: có bảo quản đơn hàng bản ghi và không bảo quản đơn hàng.
Để nén dữ liệu, thuật toán FSST được sử dụng (Bảng Nhanh Ký hiệu Tĩnh), cho phép bạn đóng gói dữ liệu trong các hàng bằng cách sử dụng một từ điển phổ biến về loại phù hợp. Việc áp dụng thuật toán mới cho phép giảm kích thước cơ sở dữ liệu thử nghiệm từ 761 MB xuống 251 MB.
Để nén số (DOUBLE và FLOAT), thuật toán Chimp và Patas được đề xuất. So với thuật toán Gorillas trước đây, Chimp cung cấp mức độ nén cao hơn và giải nén nhanh hơn. Thuật toán Patas thua xa Chimp về mặt nén, nhưng nhanh hơn đáng kể về tốc độ giải nén, tương đương với tốc độ đọc dữ liệu không nén.
Nó cũng được lưu ý rằng nó đã được thêm vào khả năng thử nghiệm để tải dữ liệu từ tệp CSV theo nhiều luồng song song (SET thử nghiệm_parallel_csv=true), giúp giảm đáng kể thời gian tải cho các tệp CSV lớn. Ví dụ: khi tùy chọn được bật, thời gian tải xuống tệp CSV 720 MB đã giảm từ 3,5 giây xuống 0,6 giây.
Những thay đổi khác nổi bật so với phiên bản mới này:
- Khả năng thực hiện song song các hoạt động tạo và quản lý chỉ mục đã được triển khai.
- SQL cung cấp khả năng tạo các truy vấn bắt đầu bằng từ "TỪ" thay vì "CHỌN". Trong trường hợp này, truy vấn được cho là bắt đầu bằng "CHỌN *".
- Đã thêm hỗ trợ cho biểu thức "COLUMNS" trong SQL, cho phép bạn thực hiện thao tác trên nhiều cột mà không cần sao chép biểu thức.
- Tối ưu hóa mức tiêu thụ bộ nhớ. Theo mặc định trên nền tảng Linux, thư viện jemalloc được sử dụng để quản lý bộ nhớ. Cải thiện đáng kể hiệu suất của các hoạt động hợp nhất băm khi bộ nhớ bị hạn chế.
- Đã thêm chế độ đầu ra ".mode duckbox" vào CLI, loại bỏ các cột ở giữa dựa trên độ rộng của dòng của cửa sổ đầu cuối). Với tham số ".maxrows X", bạn cũng có thể giới hạn số lượng hàng đầu ra.
- CLI cung cấp tính năng tự động hoàn thành đầu vào theo ngữ cảnh (từ khóa, tên bảng, hàm, tên cột và đầu vào tên tệp đã hoàn thành).
- CLI được bật theo mặc định để hiển thị chỉ báo tiến trình truy vấn.
cuối cùng nếu bạn là muốn biết thêm về nó, bạn có thể kiểm tra các chi tiết Trong liên kết sau đây.