Databricks представляет Delta Sharing, протокол с открытым исходным кодом для безопасного обмена данными

Databricks изобретатель и разработчик Apache Spark, представила несколько нововведений для своей унифицированной аналитической платформы на пользовательской конференции Data + AI Summit 2021, в том числе освещает запуск нового проекта с открытым исходным кодом под названием «Delta Sharing» что обеспечивает открытый протокол для безопасного обмена данными между организациями в режиме реального времени, независимо от платформы, на которой хранятся данные.

Дельта-обмен входит в проект Delta Lake, уровень хранения таблиц, который компания выпустила с открытым исходным кодом в конце 2019 года. Платформа уже получила поддержку от широкого набора поставщиков данных, включая Nasdaq, Amazon Web Services, Microsoft, Google и Tableau Software.

Обмен данными стал критически важным в современной экономике, поскольку компании стремятся безопасно обмениваться данными со своими клиентами, поставщиками и партнерами. Например, розничный торговец может захотеть публиковать данные о продажах своих поставщиков в режиме реального времени, или поставщик может захотеть поделиться запасами в реальном времени. Но до сих пор обмен данными был очень ограничен, поскольку решения для обмена привязаны к одному провайдеру. Это создает трения как для поставщиков данных, так и для потребителей, которые, естественно, используют разные платформы.

Сегодня мы запустили новый проект с открытым исходным кодом, который упрощает обмен данными между организациями: Delta Sharing, открытый протокол для безопасного обмена большими наборами данных в реальном времени, впервые обеспечивающий безопасный обмен данными между продуктами. Мы разрабатываем Delta Sharing с партнерами из ведущих мировых поставщиков программного обеспечения и данных.

Databricks сказал, что надеется решить проблему неэффективности процессов часто необходимые руководства для организаций для обмена данными с клиентами, партнерами и поставщиками. Исторически продукты для обмена данными были привязаны к одному поставщику или коммерческому продукту, что ограничивало сотрудничество между организациями, использующими разные платформы.

«Основной способ, которым компании делятся с другими, - это прохождение громоздкого процесса или использование жесткой существующей системы, которую должен использовать каждый», - сказал Арсалан Таваколи (на фото), соучредитель и старший вице-президент по инженерным работам в Databricks.

Объединение нескольких источников данных также является рутиной.. «Вы не можете просто дать всем доступ», - сказал он. «Вам нужны средства контроля доступа, аудита и контроля версий. Сегодня это невозможно сделать.

Delta Sharing ограничивает зависимость от поставщика По словам компании, это позволяет использовать более широкий и разнообразный набор сценариев использования, чем это было возможно ранее. Каталог Unity, который можно использовать в SQL, средствах визуального анализа и языках программирования, таких как Python и R. Delta Sharing также позволяет организациям обмениваться существующими наборами данных в больших масштабах в форматах Apache Parquet и Delta Lake в реальном времени без необходимость в копиях.

Delta Sharing - пятый крупный проект с открытым исходным кодом, запущенный Databricks., после Apache Spark, Delta Lake, MLflow для машинного обучения и Koalas, реализующего программный интерфейс приложения pandas DataFrame на Spark. Проект передается в дар Linux Foundation.

Также Databricks также выделил «Каталог Unity« стандартизированный каталог данных и что это совместим с «Дельта-обменом». Unity Catalog имеет новый интерфейс, который облегчит обнаружение и управление всеми базами данных компании, с полным просмотром данных в облаках и существующих каталогов, конечно же, на платформе Lakehouse Databricks.

Каталог Unity предлагает единую модель безопасности, основанную на ANSI SQL, для упрощения развертывания и стандартизации управления в облаках. Инструмент также может быть интегрирован в существующие каталоги данных Alation, Collibra, Privacera и Immuta, чтобы соответствующий клиент мог использовать существующий и создать централизованную и перспективную модель управления без высоких затрат на миграцию.

В конце концов если вам интересно узнать об этом больше, вы можете проверить подробности по следующей ссылке.


Содержание статьи соответствует нашим принципам редакционная этика. Чтобы сообщить об ошибке, нажмите здесь.

Будьте первым, чтобы комментировать

Оставьте свой комментарий

Ваш электронный адрес не будет опубликован.

*

*

  1. Ответственный за данные: AB Internet Networks 2008 SL
  2. Назначение данных: контроль спама, управление комментариями.
  3. Легитимация: ваше согласие
  4. Передача данных: данные не будут переданы третьим лицам, кроме как по закону.
  5. Хранение данных: база данных, размещенная в Occentus Networks (ЕС)
  6. Права: в любое время вы можете ограничить, восстановить и удалить свою информацию.

bool (истина)