DuckDB là một hệ thống quản lý cơ sở dữ liệu SQL OLAP đang được
Công bố sự ra mắt của phiên bản mới của DuckDB 0.9.0 với tên mã “Undulata” để vinh danh loài vịt mỏ vàng có nguồn gốc từ Châu Phi. Phiên bản mới nổi bật nhờ bao gồm hàm băm Out-Of-Core, cải tiến hiệu suất tổng hợp hàm băm, cải tiến hiệu suất, v.v.
VịtDB kết hợp các thuộc tính SQLite chẳng hạn như tính nhỏ gọn, khả năng kết nối dưới dạng thư viện tích hợp, lưu trữ cơ sở dữ liệu trong một tệp duy nhất và giao diện CLI thuận tiện, với các công cụ và tối ưu hóa để thực hiện các truy vấn phân tích bao gồm một phần quan trọng của dữ liệu được lưu trữ, chẳng hạn , thực hiện tổng hợp tất cả nội dung bảng hoặc hợp nhất nhiều bảng lớn.
Các tính năng mới chính của DuckDB 0.9.0 “Undulata”
Một trong những tính năng mới chính của phiên bản DuckDB 0.9.0 mới có lẽ là cải thiện hiệu suất với hàm băm Out-Of-Core, kể từ bây giờ khi thêm tập dữ liệu lớn khi xử lý truy vấn. Người ta đề cập rằng bằng cách sử dụng công cụ thực thi phát trực tuyến và trình quản lý bộ đệm, DuckDB hỗ trợ nhiều thao tác trên các tập dữ liệu vượt quá bộ nhớ.
Trong phiên bản này, hỗ trợ tràn đĩa được mở rộng hơn nữa bằng cách hỗ trợ các tập hợp băm ngoài lõi. Điều này giải quyết vấn đề chấm dứt hoạt động do thiếu bộ nhớ trong trường hợp dữ liệu được sử dụng để thêm bảng băm không vừa với RAM.
Một điểm mới nổi bật nữa là hỗ trợ nén chuỗi và loại số các số nguyên ngay trước khi dữ liệu đi vào toán tử sắp xếp và tổng hợp được nhóm, điều này đã làm giảm đáng kể mức tiêu thụ bộ nhớ.
Ngoài ra, chúng ta cũng có thể tìm thấy tự động tải các tiện ích mở rộng đáng tin cậy và sẽ được cài đặt tùy ý khi được sử dụng trong truy vấn. Người ta đề cập rằng bộ tiện ích mở rộng tự động tải được giới hạn ở các tiện ích mở rộng chính thức do DuckDB Labs phân phối.
Nói về các tiện ích mở rộng, cũng có trong DuckDB 0.9.0 “Undulata” a plugin cho AWS cung cấp các khả năng sử dụng AWS SDK. Tiện ích mở rộng này chứa chức năng “LOAD_AWS_CREDENTIALS” được AWS sử dụng để tự động lấy và định cấu hình thông tin xác thực.
Ngoài ra trong phiên bản này nó được thêm vào hỗ trợ các phần mở rộng có thể tải được cho DuckDB-WASM. Trước đây, bất kỳ tiện ích mở rộng nào bạn muốn sử dụng với ứng dụng khách WASM đều phải được tích hợp. Với phiên bản này, các tiện ích mở rộng có thể được tải động. Khi tiện ích mở rộng được tải, gói WASM sẽ được tải xuống và chức năng của tiện ích mở rộng sẽ được bật.
Những thay đổi khác nổi bật so với phiên bản mới này:
- Đã bật tính năng tự động dọn dẹp toàn bộ nhóm hàng khi thực hiện thao tác XÓA. Tùy chọn cắt bớt tệp cơ sở dữ liệu (giảm kích thước của nó) sau khi xóa dữ liệu cũng được triển khai nếu các nhóm dòng đã xóa nằm ở cuối tệp.
- Cải thiện hiệu quả lưu trữ các chỉ mục ART được sử dụng để xác minh tính duy nhất hoặc khóa chính và khóa ngoại. Ví dụ: so với phiên bản trước, kích thước chỉ mục thử nghiệm đã giảm từ 278 MB xuống 78 MB.
- Sửa lỗi hồi quy và sửa cơ chế xóa
- Đã sửa lỗi phân đoạn khi thêm dữ liệu danh sách
- Thử nghiệm ART và tái cấu trúc điểm chuẩn
- Tăng giới hạn bộ nhớ trong thử nghiệm để tránh lỗi IC không xác định
- Đã thêm plugin thử nghiệm để đọc dữ liệu từ bộ lưu trữ Azure. Tiện ích mở rộng này cho phép DuckDB đọc dữ liệu được lưu trữ trong Azure một cách nguyên bản, tương tự như cách nó có thể đọc dữ liệu được lưu trữ trong S3.
- Định cấu hình Jemalloc, cộng với bộ cấp phát bộ đệm và xóa bản sao chuỗi dư thừa trong từ điển sàn gỗ
- Khách hàng đã thêm hỗ trợ thử nghiệm cho API PySpark.
- Đã thêm plugin thử nghiệm để đọc bảng ở định dạng Apache Iceberg.
- Julia cập nhật lên 0.8.1
- Đã thêm conn.interrupt() vào API Python DuckDB
- Khắc phục các tham số hồi quy x/y bị hoán đổi
cuối cùng nếu bạn là muốn biết thêm về nó, bạn có thể kiểm tra các chi tiết Trong liên kết sau đây.