데이터 브릭 Apache Spark의 발명가이자 유지 관리자, 통합 분석 플랫폼에 대한 몇 가지 혁신을 도입했습니다. 데이터 + AI 서밋 2021 사용자 컨퍼런스에서 "Delta Sharing"이라는 새로운 오픈 소스 프로젝트의 시작을 강조합니다. 제공하는 안전한 데이터 공유를위한 개방형 프로토콜 데이터가있는 플랫폼에 관계없이 실시간으로 조직간에.
델타 공유 Delta Lake 프로젝트에 포함됨, 회사가 2019 년 말에 오픈 소스로 출시 한 테이블 스토리지 계층입니다.이 플랫폼은 이미 Nasdaq, Amazon Web Services, Microsoft, Google 및 Tableau Software를 포함한 광범위한 데이터 공급자로부터 지원을 받고 있습니다.
기업이 고객, 공급 업체 및 파트너와 안전하게 데이터를 교환하기 위해 노력함에 따라 데이터 공유는 현대 경제에서 매우 중요해졌습니다. 예를 들어 소매 업체는 공급 업체의 판매 데이터를 실시간으로 게시하거나 공급 업체가 실시간으로 재고를 공유하기를 원할 수 있습니다. 그러나 지금까지 교환 솔루션이 단일 공급자에 연결되어 있기 때문에 데이터 교환은 매우 제한적이었습니다. 이는 자연스럽게 서로 다른 플랫폼을 실행하는 데이터 공급자와 소비자 모두에게 마찰을 일으 킵니다.
오늘 우리는 대규모 데이터 세트의 안전한 실시간 교환을위한 개방형 프로토콜 인 Delta Sharing을 통해 조직 간 공유를 단순화하는 새로운 오픈 소스 프로젝트를 시작하여 처음으로 제품 간 데이터를 안전하게 교환 할 수 있습니다. 우리는 세계 최고의 소프트웨어 및 데이터 제공 업체의 파트너와 함께 Delta Sharing을 개발하고 있습니다.
데이터 브릭 프로세스의 비 효율성을 해결하고 싶다고 말했습니다. 자주 필요한 매뉴얼 조직이 고객, 파트너 및 공급 업체와 데이터를 교환 할 수 있도록. 역사적으로 데이터 공유 제품은 단일 공급 업체 또는 상용 제품에 연결되어있어 서로 다른 플랫폼을 사용하는 조직 간의 협업을 제한했습니다.
Databricks의 공동 창립자이자 현장 엔지니어링 수석 부사장 인 Arsalan Tavakoli (사진)는 "회사가 다른 사람들과 공유하는 주요 방법은 번거로운 프로세스를 거치거나 모든 사람이 사용해야하는 견고한 기존 시스템을 사용하는 것입니다.
여러 데이터 소스를 함께 가져 오는 것도 귀찮은 일입니다.. "모든 사람에게 액세스 권한을 부여 할 수는 없습니다."라고 그는 말했습니다. “액세스 제어, 감사 및 버전 제어를 원합니다. 오늘은 그렇게 할 방법이 없습니다.
Delta Sharing은 공급 업체 의존성을 제한합니다. 그리고 그것은 이전에 가능했던 것보다 더 광범위하고 다양한 사용 사례를 가능하게한다고 회사는 말했다. SQL, 시각적 분석 도구, Python 및 R과 같은 프로그래밍 언어에서 사용할 수있는 Unity Catalog. Delta Sharing을 사용하면 조직이 Apache Parquet 및 Delta Lake 형식의 기존 데이터 세트를 대규모로 공유 할 수 있습니다. 사본이 필요합니다.
Delta Sharing은 Databricks가 시작한 다섯 번째 주요 오픈 소스 프로젝트입니다., Apache Spark, Delta Lake, 머신 러닝 용 MLflow 및 Spark에서 Pandas DataFrame 애플리케이션 프로그램 인터페이스를 구현하는 Koalas 이후. 이 프로젝트는 Linux Foundation에 기부되고 있습니다.
또한 Databricks는«Unity 카탈로그« 표준화 된 데이터 카탈로그 및 "델타 공유"와 호환됩니다. Unity Catalog에는 Databricks의 Lakehouse 플랫폼에서 클라우드 및 기존 카탈로그의 데이터에 대한 전체보기를 통해 회사의 모든 데이터베이스를 쉽게 검색하고 관리 할 수있는 새로운 인터페이스가 있습니다.
Unity 카탈로그 ANSI SQL을 기반으로 한 단일 보안 모델을 제공합니다. 배포를 간소화하고 클라우드 거버넌스를 표준화합니다. 도구도 기존 데이터 카탈로그에 통합 가능 Alation, Collibra, Privacera 및 Immuta의 각 클라이언트는 기존 클라이언트를 기반으로 높은 마이그레이션 비용없이 중앙 집중식 미래 보장형 거버넌스 모델을 설정할 수 있습니다.
최종적으로 그것에 대해 더 많이 알고 싶다면, 당신은 확인할 수 있습니다 다음 링크에서 세부 사항.