DuckDB — это система управления базами данных SQL OLAP, которая находится в стадии разработки.
Недавно анонсирован выход новой версии DuckDB 0.5.0, которая представляет собой развивающуюся аналитическую систему управления базами данных (СУБД), используемую Google, Facebook и Airbnb.
УткаДБ представляет собой высокопроизводительную аналитическую систему баз данных. Он разработан, чтобы быть быстрым, надежным и простым в использовании. DuckDB предоставляет богатый диалект SQL с поддержкой, выходящей далеко за рамки базового SQL. DuckDB поддерживает произвольные и вложенные коррелированные подзапросы, оконные функции, сопоставления, сложные типы (массивы, структуры) и многое другое.
Среди его основных характеристик выделяются следующие:
- Простая установка
- Интегрировано: нет управления сервером
- Формат хранения одного файла
- Быстрая аналитическая обработка
- Быстрая передача между R/Python и RDBMS
- Оно не зависит ни от какого внешнего состояния. Например, отдельные файлы конфигурации, переменная окружения.
- Формат хранения одного файла
- Компонуемый интерфейс. Свободный программный API SQL
- Полностью ACID через MVCC
О DuckDB 0.5.0
Среди новшеств — «вне ядра», целью которого является решение проблем, которые могут возникнуть, когда обрабатываемые данные превышают объем памяти, путем предложения промежуточных результатов..
Новая версия использует индексы Adaptive Radix Tree (ART) применять ограничения и ускорять фильтры запросов. До сих пор индексы не были постоянными, что приводило к таким проблемам, как потеря информации индекса и длительное время перезагрузки для таблиц с ограниченными данными.
ИСКУССТВО по сути, это попытка применить вертикальное и горизонтальное сжатие для создания компактных индексных структур. Интенты — это древовидные структуры данных, где каждый уровень дерева содержит информацию о какой-то части набора данных. Обычно они иллюстрируются строками символов.
В проект также добавлена оптимизация порядка присоединения., распространенная проблема в аналитических базах данных. Хён Парк, генеральный директор и главный аналитик Amalgam Insights, сказал, что отличие DuckDB заключается в том, что это небольшое приложение, которое работает в рамках рабочих процессов на основе кода для быстрого сканирования больших хранилищ данных.
«DuckDB часто может выполнять запросы непосредственно к данным без промежуточной обработки, что улучшает обработку. С чисто технологической точки зрения он чем-то похож на Actian Vector, который также использует подход OLAP-запросов с векторизованными столбцами, хотя Actian предназначен для извлечения данных, а не для работы над процессом или загрузки определенного задания. »
DuckDB Labs предоставляет консультации и поддержку. Соучредитель и генеральный директор Ханнес Мюлейзен, который также является соавтором кода и поддерживает проект, сказал, что его вдохновил SQLite, механизм базы данных без сервера OLTP, где он увидел возможность для аналогичного подхода, но для аналитики.
DuckDB также часто используется как часть стека аналитики или управления. большие данные. Например, если кто-то создает пользовательское приложение, которое собирает данные, а затем хочет создать интерфейс SQL, ему сначала нужно скопировать данные и перенести их в другую систему, что может вызвать проблемы с синхронизацией, пояснил он.
Скачайте и получите
Важно отметить, что на домашней странице четко указано, что ее не следует использовать для «больших клиент-серверных установок для централизованного хранения корпоративных данных».
Проект работает над выпуском версии 1.0, после чего уже нельзя будет вносить изменения. Работы академиков Центра математики и теоретической информатики Centrum Wiskunde & Informatica в Амстердаме, DuckDB интегрирована в хост-процесс, стоит отметить, что нет серверного программного обеспечения СУБД для установки, обновления или обслуживания.
Например, пакет DuckDB Python может выполнять запросы непосредственно к данным из программной библиотеки Python, без импорта или копирования данных. DuckDB написан на C++, является бесплатным и имеет открытый исходный код под лицензией MIT.
Вы можете узнать больше об этом, а также ознакомиться с руководством по установке, По следующей ссылке.