DuckDB, Google, Facebook 및 Airbnb에서 사용하는 오픈 소스 DB

DuckDB, Google, Facebook 및 Airbnb에서 사용하는 DBMS

DuckDB는 현재 개발 중인 SQL OLAP 데이터베이스 관리 시스템입니다.

최근에 DuckDB 0.5.0 새 버전 출시 발표, Google, Facebook 및 Airbnb에서 사용하는 개발 중인 분석 데이터베이스 관리 시스템(DBMS)입니다.

덕DB 고성능 분석 데이터베이스 시스템입니다. 빠르고 안정적이며 사용하기 쉽도록 설계되었습니다. DuckDB는 기본 SQL을 훨씬 능가하는 지원과 함께 풍부한 SQL 언어를 제공합니다. DuckDB는 임의 및 중첩 상관 하위 쿼리, 창 함수, 데이터 정렬, 복합 유형(배열, 구조체) 등을 지원합니다.

주요 특징 중 다음이 두드러집니다.

  • 간단한 설치
  • 통합: 서버 관리 없음
  • 단일 파일 저장 형식
  • 빠른 분석 처리
  • R/Python과 RDBMS 간의 빠른 전송
  • 외부 상태에 의존하지 않습니다. 예를 들어, 별도의 구성 파일, 환경 변수.
  • 단일 파일 저장 형식
  • 구성 가능한 인터페이스. Fluent SQL 프로그래밍 API
  • MVCC를 통한 완전 ACID

DuckDB 0.5.0 소개

참신한 것 중에는 중간 결과를 제안하여 처리 중인 데이터가 메모리보다 클 때 발생할 수 있는 문제를 해결하는 것을 목표로 하는 "out of core"가 있습니다..

새로운 버전 적응형 기수 트리(ART) 인덱스 사용 제한을 적용하고 쿼리 필터의 속도를 높입니다. 지금까지는 인덱스가 지속되지 않아 인덱스 정보가 손실되고 데이터가 제한된 테이블의 경우 긴 재로드 시간과 같은 문제가 발생했습니다.

예술(ART) 본질적으로 이는 컴팩트 인덱스 구조를 생성하기 위해 수직 및 수평 압축을 적용하려는 시도입니다. 인텐트는 트리와 유사한 데이터 구조로, 트리의 각 수준에는 데이터 세트의 일부에 대한 정보가 포함됩니다. 일반적으로 문자열로 표시됩니다.

프로젝트는 또한 조인 순서 최적화를 추가했습니다., 분석 데이터베이스의 일반적인 문제입니다. Amalgam Insights의 CEO이자 수석 분석가인 박현은 DuckDB의 차별화는 코드 기반 워크플로 내에서 작동하여 대용량 데이터 저장소를 빠르게 스캔하는 작은 애플리케이션이라는 사실에서 비롯된다고 말했습니다.

“DuckDB는 중간 처리 없이 데이터에 대해 직접 쿼리를 실행할 수 있어 처리가 향상됩니다. 순전히 기술적인 관점에서 보면 Actian이 프로세스에서 작업하거나 특정 작업을 로드하는 대신 데이터를 가져오도록 설계되었지만 열 벡터화된 OLAP 쿼리 접근 방식도 사용하는 Actian Vector와 다소 유사합니다. »

DuckDB Labs는 조언과 지원을 제공합니다. 코드를 공동 작성하고 프로젝트를 유지 관리하는 공동 창립자이자 CEO인 Hannes Mühleisen은 서버리스 OLTP 데이터베이스 엔진인 SQLite에서 영감을 얻었다고 말했습니다.

DuckDB는 또한 분석 또는 관리 스택의 일부로 자주 사용됩니다. 더 큰 데이터. 예를 들어, 누군가가 데이터를 수집하는 맞춤형 애플리케이션을 구축한 다음 SQL 인터페이스를 생성하려는 경우 먼저 데이터를 복사하고 다른 시스템으로 옮겨야 하므로 동기화 문제가 발생할 수 있다고 그는 설명했습니다.

다운로드 및 받기

홈 페이지에 "중앙 집중식 엔터프라이즈 데이터 저장을 위한 대규모 클라이언트/서버 설치"에 사용해서는 안 된다고 분명히 명시되어 있다는 점을 언급하는 것이 중요합니다.

이 프로젝트는 버전 1.0의 릴리스 작업 중이며, 그 후에는 더 이상 변경할 수 없습니다. DuckDB 암스테르담에 있는 Center for Mathematics and Theoretical Computer Science Centrum Wiskunde & Informatica의 학자들의 작업은 호스트 프로세스에 통합되며, 설치, 업데이트 또는 유지 관리할 DBMS 서버 소프트웨어가 없다는 점에 주목할 가치가 있습니다.

예를 들어 DuckDB Python 패키지는 데이터를 가져오거나 복사하지 않고도 Python 소프트웨어 라이브러리의 데이터에 대해 직접 쿼리를 실행할 수 있습니다. DuckDB는 C++로 작성되었으며 MIT 라이선스에 따라 무료이며 오픈 소스입니다.

설치 설명서를 참조할 뿐만 아니라 자세한 내용을 알아볼 수 있습니다. 다음 링크에서.


코멘트를 남겨주세요

귀하의 이메일 주소는 공개되지 않습니다. 필수 필드가 표시되어 있습니다 *

*

*

  1. 데이터 책임자: AB Internet Networks 2008 SL
  2. 데이터의 목적 : 스팸 제어, 댓글 관리.
  3. 합법성 : 귀하의 동의
  4. 데이터 전달 : 법적 의무에 의한 경우를 제외하고 데이터는 제 XNUMX 자에게 전달되지 않습니다.
  5. 데이터 저장소 : Occentus Networks (EU)에서 호스팅하는 데이터베이스
  6. 권리 : 귀하는 언제든지 귀하의 정보를 제한, 복구 및 삭제할 수 있습니다.