최근 TileDB 2.0의 새 버전 출시가 발표되었습니다. 다른 클라우드 서비스와 함께 작동하도록 통합이 추가되었습니다., 다른 알고리즘을 사용하는 기능, 다른 스토리지 엔진 및 기타 사항을 통한 개선.
TileDB에 익숙하지 않은 사람들은 이것을 알아야합니다. 데이터 과학 팀을 돕기 위해 설계된 데이터베이스입니다. 대규모의 다양한 데이터 세트를 저장, 업데이트, 분석 및 공유 할 수있는보다 강력한 방법을 제공하여 더 빠르게 발견 할 수 있습니다.
TileDB 정보
TileDB는 새로운 다차원 배열 데이터 형식으로 구성됩니다. 간편한 서버리스 계산 및 데이터 관리를위한 클라우드 서비스 및 데이터 과학 도구 통합이 포함 된 빠르고 내장 가능한 오픈 소스 C ++ 스토리지 엔진입니다.
타일DB 다차원 과학 계산에 사용되는 매트릭스 및 데이터를 저장하도록 최적화되었습니다., 유전 정보, 공간 및 재무 데이터를 처리하기위한 다양한 시스템, 즉 분산되거나 연속적으로 채워진 다차원 매트릭스로 작동하는 시스템과 같은 것입니다.
TileDB는 독립형 및 임베디드 C ++ 라이브러리를 제공합니다. C, C ++, Python, R, Java 및 Go의 API와 함께 제공됩니다. TileDB 배열에 직접 액세스 할 수 있습니다.
이 라이브러리는 Spark, Dask, PrestoDB, MariaDB, Arrow 및 PDAL, GDAL 및 Rasterio와 같은 지리 공간 라이브러리와 통합됩니다. TileDB는 가능한 한 많은 컴퓨팅을 스토리지에 푸시합니다.SQL 엔진 필터 조건 및 Dask 및 Spark 데이터 프레임 계산과 같은.
데이터베이스와 함께 클라우드의 TileDB 어레이를 다른 사용자와 공유하고 서버리스 계산을 수행하는 데 사용할 수있는 종량제 서비스 인 TileDB Cloud가 있습니다.
TileDB의 주요 기능 다음이 두드러집니다.
- 데이터가 계속 이어지지 않고 배열이 청크로 채워지고 대부분의 요소가 비어 있거나 동일한 값을 갖는 희소 배열을 저장하는 효과적인 방법입니다.
- 키 값 형식 또는 열 집합 (DataFrame)으로 데이터에 액세스하는 기능
- AWS S3, Google Cloud Storage 및 Azure Blob Storage와의 통합을 지원합니다.
- TileDB는 형식 및 스토리지 엔진에 기본적으로 내장 된 데이터 버전 관리를 효율적으로 지원합니다.
- 클라우드 개체 저장소의 병렬 I / O 및 다중 스레드 계산 (예 : 분류, 압축 등)에 대한 다양한 최적화 기능이 있습니다.
- 다른 데이터 압축 및 암호화 알고리즘을 사용하는 기능.
- 체크섬 무결성 지원.
- 입력 / 출력 병렬화와 함께 다중 스레드 모드에서 작동합니다.
- 과거의 특정 시점에서 상태를 검색하거나 큰 정수 세트의 원자 적 업데이트를 위해 저장된 데이터의 버전 관리를 지원합니다.
- 메타 데이터 연결 기능.
- 데이터 그룹화 지원.
- Spark, Dask, MariaDB, GDAL, PDAL, Rasterio, gVCF 및 PrestoDB에서 저수준 스토리지 엔진으로 사용되는 통합 모듈.
- Python, R, Java 및 Go 언어 용 C ++ API 바인딩 라이브러리.
프로젝트 코드는 C ++로 작성되고 MIT 라이선스에 따라 배포되며 Linux, macOS 및 Windows와 호환됩니다.
버전 2.0 정보
버전 2.0 «DataFrame»개념과의 호환성을 자랑합니다. 해적 값의 열 형태로 데이터를 저장할 수 있습니다. 임의의 길이, 특정 속성에 바인딩되고 R 용으로 재 설계된 API.
희소 행렬 처리에도 최적화 된 스토리지 크기가 이기종 (다른 유형의 데이터가 셀에 저장 될 수 있으며 이름, 시간 및 가격이 저장되는 다른 유형의 열을 병합 할 수 있음).
문자열 데이터가있는 열에 대한 지원이 추가되었습니다. 통합을 위해 모듈이 추가되었습니다. Google Cloud Storage 및 Azure Blob Storage.
마지막으로이 새 버전에 대해 더 알고 싶다면 p릴리스 노트는 다음에서 확인할 수 있습니다. 다음 링크.
Y 설치에 대해 자세히 알아 보려면 구현 및 문서화, 당신은 그것을 할 수 있습니다 다음 링크.