DuckDB, БД з відкритим кодом, що використовується Google, Facebook і Airbnb

DuckDB, СУБД, що використовується Google, Facebook і Airbnb

DuckDB — це система керування базами даних SQL OLAP, що розробляється

Останнім часом анонсовано випуск нової версії DuckDB 0.5.0, яка є розробкою системи управління аналітичною базою даних (СУБД), яку використовують Google, Facebook і Airbnb.

DuckDB це високопродуктивна аналітична система баз даних. Він створений як швидкий, надійний і простий у використанні. DuckDB надає багатий діалект SQL із підтримкою, що виходить далеко за межі базового SQL. DuckDB підтримує довільні та вкладені корельовані підзапити, віконні функції, порівняння, складні типи (масиви, структури) тощо.

Серед його основних характеристик виділяють наступні:

  • Проста установка
  • Інтегровано: немає керування сервером
  • Формат зберігання одного файлу
  • Швидка аналітична обробка
  • Швидкий перехід між R/Python і RDBMS
  • Він не залежить ні від якого зовнішнього стану. Наприклад, окремі файли конфігурації, змінна середовища.
  • Формат зберігання одного файлу
  • Компонований інтерфейс. Fluent SQL Programmatic API
  • Повністю ACID через MVCC

Про DuckDB 0.5.0

Серед нововведень — «out of core», який спрямований на вирішення проблем, які можуть виникнути, коли обсяг даних, що обробляються, перевищує обсяг пам’яті, пропонуючи проміжні результати.

Нова версія використовує індекси Adaptive Radix Tree (ART). для застосування обмежень і прискорення фільтрів запитів. Досі індекси не були постійними, що призводило до таких проблем, як втрата інформації про індекси та тривалий час перезавантаження для таблиць з обмеженнями даних.

МИСТЕЦТВО це, по суті, спроба застосувати вертикальне та горизонтальне стиснення для створення компактних індексних структур. Наміри — це деревоподібні структури даних, де кожен рівень дерева містить інформацію про певну частину набору даних. Зазвичай вони ілюструються рядками символів.

Проект також додав оптимізацію порядку приєднання, поширена проблема в аналітичних базах даних. Хьон Парк, генеральний директор і головний аналітик Amalgam Insights, сказав, що відмінність DuckDB полягає в тому, що це невелика програма, яка працює в робочих процесах на основі коду для швидкого сканування великих сховищ даних.

«DuckDB часто може запускати запити безпосередньо до даних без проміжної обробки, що покращує обробку. З суто технологічної точки зору він дещо схожий на Actian Vector, який також використовує стовпчастий векторизований підхід запиту OLAP, хоча Actian розроблено для отримання даних, а не для роботи над процесом або завантаженням конкретного завдання. »

DuckDB Labs надає поради та підтримку. Співзасновник і генеральний директор Ханнес Мюлейзен, який також був співавтором коду та підтримує проект, сказав, що його надихнув SQLite, безсерверна система баз даних OLTP, де він побачив можливість для подібного підходу, але для аналітики.

DuckDB також часто використовується як частина стека аналітики або керування. більші дані. Наприклад, якщо хтось створює спеціальну програму, яка збирає дані, а потім хоче створити інтерфейс SQL, він спочатку повинен скопіювати дані та перемістити їх в іншу систему, що може спричинити проблеми з синхронізацією, пояснив він.

Завантажте та отримайте

Важливо зазначити, що на домашній сторінці чітко зазначено, що її не слід використовувати для «великих інсталяцій клієнт/сервер для централізованого зберігання корпоративних даних».

Проект працює над випуском версії 1.0, після чого вносити зміни буде неможливо. Роботи вчених Центру математики та теоретичної інформатики Centrum Wiskunde & Informatica в Амстердамі, DuckDB інтегровано в основний процес, варто зазначити, що немає серверного програмного забезпечення СУБД для встановлення, оновлення чи підтримки.

Наприклад, пакет DuckDB Python може виконувати запити безпосередньо до даних із бібліотеки програмного забезпечення Python, без імпорту чи копіювання даних. DuckDB написаний на C++, є безкоштовним і відкритим кодом за ліцензією MIT.

Ви можете дізнатися більше про це, а також переглянути посібник із встановлення, У наступному посиланні.


Будьте першим, щоб коментувати

Залиште свій коментар

Ваша електронна адреса не буде опублікований. Обов'язкові для заповнення поля позначені *

*

*

  1. Відповідальний за дані: AB Internet Networks 2008 SL
  2. Призначення даних: Контроль спаму, управління коментарями.
  3. Легітимація: Ваша згода
  4. Передача даних: Дані не передаватимуться третім особам, за винятком юридичних зобов’язань.
  5. Зберігання даних: База даних, розміщена в мережі Occentus Networks (ЄС)
  6. Права: Ви можете будь-коли обмежити, відновити та видалити свою інформацію.