Databricky vynálezca a udržiavateľ Apache Spark, predstavila niekoľko inovácií pre svoju platformu Unified Analytics na svojej konferencii používateľov Data + AI Summit 2021 vrátane zdôrazňuje začatie nového projektu s otvoreným zdrojom s názvom „Delta Sharing“ ktorá poskytuje a otvorený protokol na bezpečné zdieľanie údajov v reálnom čase medzi organizáciami bez ohľadu na platformu, na ktorej sa údaje nachádzajú.
Zdieľanie delty je súčasťou projektu Delta Lake, vrstva ukladania tabuliek, ktorú spoločnosť uviedla do otvoreného zdroja koncom roka 2019. Platforma si už získala podporu od širokej skupiny poskytovateľov údajov, vrátane spoločností Nasdaq, Amazon Web Services, Microsoft, Google a Tableau Software.
Zdieľanie údajov sa stalo v modernej ekonomike kritickým javom, pretože spoločnosti sa snažia o bezpečnú výmenu údajov so svojimi zákazníkmi, dodávateľmi a partnermi. Napríklad maloobchodník môže chcieť zverejniť údaje o predaji svojich dodávateľov v reálnom čase alebo dodávateľ môže chcieť zdieľať inventár v reálnom čase. Ale doteraz bola výmena dát veľmi obmedzená, pretože riešenia výmeny sú viazané na jedného poskytovateľa. To vytvára trenice pre poskytovateľov údajov aj spotrebiteľov, ktorí prirodzene používajú rôzne platformy.
Dnes sme spustili nový projekt otvoreného zdroja, ktorý zjednodušuje zdieľanie medzi organizáciami: Delta Sharing, otvorený protokol pre bezpečnú výmenu veľkých súborov dát v reálnom čase, ktorý umožňuje vôbec prvýkrát bezpečnú výmenu údajov medzi produktmi. Vyvíjame spoločnosť Delta Sharing s partnermi od popredných svetových poskytovateľov softvéru a údajov.
Databricky uviedla, že dúfa, že bude riešiť neefektívnosť procesov často potrebné príručky pre organizácie na výmenu údajov so zákazníkmi, partnermi a dodávateľmi. Produkty na zdieľanie údajov boli historicky viazané na jedného dodávateľa alebo komerčný produkt, čo obmedzovalo spoluprácu medzi organizáciami, ktoré používajú rôzne platformy.
„Hlavným spôsobom, ktorý spoločnosti zdieľajú s ostatnými, je prechádzanie ťažkopádnym procesom alebo používanie rigídneho existujúceho systému, ktorý musí používať každý,“ uviedol Arsalan Tavakoli (na snímke), spoluzakladateľ a hlavný viceprezident terénneho inžinierstva spoločnosti Databricks.
Spojenie viacerých zdrojov údajov je tiež náročná práca. „Nemôžete dať každému prístup len tak,“ povedal. "Chcete riadenie prístupu, auditovanie a správu verzií." Dnes sa to nedá nijako urobiť.
Zdieľanie Delta obmedzuje závislosť dodávateľov a umožňuje širší a rozmanitejší súbor prípadov použitia, ako bolo doteraz možné, uviedla spoločnosť. Unity Catalogue, ktorý je možné použiť v SQL, nástrojoch vizuálnej analýzy a programovacích jazykoch ako Python a R. Delta Sharing tiež umožňuje organizáciám zdieľať existujúce súbory dát vo veľkom meradle v Apache Parquet a Delta Lake Formats v reálnom čase bez potreba. kópií.
Delta Sharing je piaty hlavný otvorený projekt spustený spoločnosťou Databricks, po Apache Spark, Delta Lake, MLflow pre strojové učenie a Koalas, ktorá implementuje rozhranie aplikačného programu pandy DataFrame na Spark. Projekt je venovaný nadácii Linux Foundation.
Tiež Databricky tiež zvýraznené «Jednotný katalóg« štandardizovaný katalóg údajov a čo je kompatibilný s programom „Delta Sharing“. Unity Catalogue má nové rozhranie, ktoré uľahčí vyhľadanie a správu všetkých databáz spoločnosti, s úplným zobrazením údajov v oblakoch a existujúcich katalógov, samozrejme v platforme Lakehouse spoločnosti Databricks.
Jednotný katalóg ponúka jeden bezpečnostný model založený na ANSI SQL, zefektívniť nasadenie a štandardizovať správu cloudu. Nástroj tiež môžu byť integrované do existujúcich katalógov údajov spoločností Alation, Collibra, Privacera a Immuta, aby príslušný klient mohol stavať na existujúcom a zaviesť centralizovaný a do budúcnosti perspektívny model riadenia bez vysokých nákladov na migráciu.
Konečne ak máte záujem dozvedieť sa o tom viac, môžete skontrolovať podrobnosti v nasledujúcom odkaze.