DuckDB to powstający system zarządzania bazami danych SQL OLAP
Zapowiedział uruchomienie nowa wersja DuckDB 0.9.0 o kryptonimie „Undulata” na cześć kaczki żółtodziobej pochodzącej z Afryki. Nowa edycja wyróżnia się funkcjami mieszania Out-Of-Core, ulepszeniami wydajności agregacji skrótów, ulepszeniami wydajności i nie tylko.
KaczkaDB łączyć właściwości SQLite takie jak zwartość, możliwość połączenia w postaci zintegrowanej biblioteki, przechowywanie bazy danych w jednym pliku oraz wygodny interfejs CLI, z narzędziami i optymalizacjami do wykonywania zapytań analitycznych obejmujących znaczną część przechowywanych danych, np. które wykonują agregację całej zawartości tabeli lub scalają wiele dużych tabel.
Główne nowe funkcje DuckDB 0.9.0 „Undulata”
Jedną z głównych nowych funkcji nowej wersji DuckDB 0.9.0 jest być może poprawa wydajności dzięki haszowaniu Out-Of-Core, od teraz podczas dodawania dużych zbiorów danych podczas przetwarzania zapytań. Wspomniano, że korzystając z silnika wykonywania strumieniowego i menedżera buforów, DuckDB obsługuje wiele operacji na zbiorach danych przekraczających pamięć.
W tej wersji Obsługa rozlewania dysku została dodatkowo rozszerzona poprzez obsługę agregatów mieszających poza rdzeniem. Co rozwiązuje problem przerywania operacji z powodu braku pamięci w sytuacjach, gdy dane użyte do dodania tablicy skrótów nie mieszczą się w pamięci RAM.
Kolejną nowością, która wyróżnia się, jest to, że obsługa kompresji ciągów i typów liczbowych liczby całkowite tuż przed wprowadzeniem danych do operatorów zgrupowanego sortowania i agregacji, co znacznie zmniejszyło zużycie pamięci.
Oprócz tego możemy również znaleźć automatyczne ładowanie zaufanych rozszerzeń i opcjonalnie zostanie zainstalowany, gdy zostanie użyty w zapytaniu. Wspomniano, że zestaw rozszerzeń automatycznego ładowania jest ograniczony do oficjalnych rozszerzeń dystrybuowanych przez DuckDB Labs.
Skoro już mowa o rozszerzeniach, także w DuckDB 0.9.0 „Undulata” a wtyczka do AWS który zapewnia możliwości korzystające z zestawu AWS SDK. To rozszerzenie zawiera funkcję „LOAD_AWS_CREDENTIALS”, która jest używana przez AWS do automatycznego uzyskiwania i konfigurowania poświadczeń.
Również w tej wersji jest dodany obsługa ładowalnych rozszerzeń DuckDB-WASM. Wcześniej każde rozszerzenie, którego chciało się używać z klientem WASM, musiało zostać zintegrowane. W tej wersji rozszerzenia można ładować dynamicznie. Po załadowaniu rozszerzenia pobierany jest pakiet WASM i włączana jest funkcjonalność rozszerzenia.
Z innych zmian które wyróżniają się na tle nowej wersji:
- Włączono automatyczne czyszczenie całych grup wierszy podczas wykonywania operacji DELETE. Opcja obcięcia pliku bazy danych (zmniejszenia jego rozmiaru) po usunięciu danych jest realizowana również w przypadku, gdy usunięte grupy linii znajdowały się na końcu pliku.
- Poprawiono efektywność przechowywania indeksów ART służących do weryfikacji unikalności czy kluczy podstawowych i obcych. Przykładowo w porównaniu do poprzedniej wersji rozmiar indeksu testowego zmniejszył się z 278 MB do 78 MB.
- Napraw regresję i napraw mechanizm gumki
- Naprawiono błąd segmentacji podczas dodawania danych listy
- Testowanie ART i refaktoryzacja benchmarków
- Zwiększony limit pamięci w teście, aby uniknąć niedeterministycznych awarii układu scalonego
- Dodano eksperymentalną wtyczkę do odczytu danych z Azure Storage. To rozszerzenie umożliwia DuckDB natywny odczyt danych przechowywanych na platformie Azure, podobnie jak może odczytywać dane przechowywane w S3.
- Konfiguracja Jemalloc, plus alokator buforów i usunięcie zbędnej kopii ciągów znaków w słowniku Parquet
- Klient dodał eksperymentalną obsługę API PySpark.
- Dodano eksperymentalną wtyczkę do odczytu tabel w formacie Apache Iceberg.
- Aktualizacja Julii do wersji 0.8.1
- Dodano funkcję conn.interrupt() do API Pythona DuckDB
- Naprawiono zamienione parametry regresji x/y
w końcu jeśli jesteś chcesz dowiedzieć się więcej na ten tematmożesz sprawdzić szczegóły W poniższym linku.