Databricks изобретатель и разработчик Apache Spark, представила несколько нововведений для своей унифицированной аналитической платформы на пользовательской конференции Data + AI Summit 2021, в том числе освещает запуск нового проекта с открытым исходным кодом под названием «Delta Sharing» что обеспечивает открытый протокол для безопасного обмена данными между организациями в режиме реального времени, независимо от платформы, на которой хранятся данные.
Дельта-обмен входит в проект Delta Lake, уровень хранения таблиц, который компания выпустила с открытым исходным кодом в конце 2019 года. Платформа уже получила поддержку от широкого набора поставщиков данных, включая Nasdaq, Amazon Web Services, Microsoft, Google и Tableau Software.
Обмен данными стал критически важным в современной экономике, поскольку компании стремятся безопасно обмениваться данными со своими клиентами, поставщиками и партнерами. Например, розничный торговец может захотеть публиковать данные о продажах своих поставщиков в режиме реального времени, или поставщик может захотеть поделиться запасами в реальном времени. Но до сих пор обмен данными был очень ограничен, поскольку решения для обмена привязаны к одному провайдеру. Это создает трения как для поставщиков данных, так и для потребителей, которые, естественно, используют разные платформы.
Сегодня мы запустили новый проект с открытым исходным кодом, который упрощает обмен данными между организациями: Delta Sharing, открытый протокол для безопасного обмена большими наборами данных в реальном времени, впервые обеспечивающий безопасный обмен данными между продуктами. Мы разрабатываем Delta Sharing с партнерами из ведущих мировых поставщиков программного обеспечения и данных.
Databricks сказал, что надеется решить проблему неэффективности процессов часто необходимые руководства для организаций для обмена данными с клиентами, партнерами и поставщиками. Исторически продукты для обмена данными были привязаны к одному поставщику или коммерческому продукту, что ограничивало сотрудничество между организациями, использующими разные платформы.
«Основной способ, которым компании делятся с другими, - это прохождение громоздкого процесса или использование жесткой существующей системы, которую должен использовать каждый», - сказал Арсалан Таваколи (на фото), соучредитель и старший вице-президент по инженерным работам в Databricks.
Объединение нескольких источников данных также является рутиной.. «Вы не можете просто дать всем доступ», - сказал он. «Вам нужны средства контроля доступа, аудита и контроля версий. Сегодня это невозможно сделать.
Delta Sharing ограничивает зависимость от поставщика По словам компании, это позволяет использовать более широкий и разнообразный набор сценариев использования, чем это было возможно ранее. Каталог Unity, который можно использовать в SQL, средствах визуального анализа и языках программирования, таких как Python и R. Delta Sharing также позволяет организациям обмениваться существующими наборами данных в больших масштабах в форматах Apache Parquet и Delta Lake в реальном времени без необходимость в копиях.
Delta Sharing - пятый крупный проект с открытым исходным кодом, запущенный Databricks., после Apache Spark, Delta Lake, MLflow для машинного обучения и Koalas, реализующего программный интерфейс приложения pandas DataFrame на Spark. Проект передается в дар Linux Foundation.
Также Databricks также выделил «Каталог Unity« стандартизированный каталог данных и что это совместим с «Дельта-обменом». Unity Catalog имеет новый интерфейс, который облегчит обнаружение и управление всеми базами данных компании, с полным просмотром данных в облаках и существующих каталогов, конечно же, на платформе Lakehouse Databricks.
Каталог Unity предлагает единую модель безопасности, основанную на ANSI SQL, для упрощения развертывания и стандартизации управления в облаках. Инструмент также может быть интегрирован в существующие каталоги данных Alation, Collibra, Privacera и Immuta, чтобы соответствующий клиент мог использовать существующий и создать централизованную и перспективную модель управления без высоких затрат на миграцию.
В конце концов если вам интересно узнать об этом больше, вы можете проверить подробности по следующей ссылке.