ডেটাব্রিক্স অ্যাপাচি স্পার্কের উদ্ভাবক ও রক্ষণাবেক্ষণকারী, এর ইউনিফাইড অ্যানালিটিক্স প্ল্যাটফর্মের জন্য বেশ কয়েকটি উদ্ভাবন চালু করেছে এর ডেটা + এআই সামিট 2021 ব্যবহারকারীর সম্মেলনে "ডেল্টা শেয়ারিং" নামে একটি নতুন ওপেন সোর্স প্রকল্পের প্রবর্তনকে হাইলাইট করে যা সরবরাহ করে a সুরক্ষিত ডেটা ভাগ করার জন্য প্রোটোকল খুলুন সংস্থাগুলির মধ্যে রিয়েল টাইমে, প্ল্যাটফর্মটি নির্বিশেষে যার উপরে ডেটা থাকে।
ডেল্টা শেয়ারিং ডেল্টা লেক প্রকল্পের মধ্যে অন্তর্ভুক্ত করা হয়েছে, এক টেবিল স্টোরেজ স্তর যা 2019 সালের শেষের দিকে ওপেন উত্সের জন্য প্রকাশ করেছে platform প্ল্যাটফর্মটি ইতিমধ্যে নাসডাক, আমাজন ওয়েব সার্ভিসেস, মাইক্রোসফ্ট, গুগল এবং টেবিল সফটওয়্যার সহ ডেটা সরবরাহকারীদের একটি বিস্তৃত সেট থেকে সমর্থন পেয়েছে।
আধুনিক অর্থনীতিতে ডেটা ভাগাভাগি গুরুত্বপূর্ণ হয়ে উঠেছে কারণ সংস্থাগুলি তাদের গ্রাহক, সরবরাহকারী এবং অংশীদারদের সাথে নিরাপদে ডেটা বিনিময় করতে চাইছে। উদাহরণস্বরূপ, কোনও খুচরা বিক্রেতা তাদের সরবরাহকারীদের রিয়েল টাইমে বিক্রয় ডেটা প্রকাশ করতে চাইতে পারে বা কোনও সরবরাহকারী রিয়েল টাইমে ইনভেন্টরি ভাগ করতে চাইতে পারে। তবে এখন অবধি, ডেটা এক্সচেঞ্জটি খুব সীমাবদ্ধ হয়েছে কারণ এক্সচেঞ্জ সলিউশনগুলি একক সরবরাহকারীর সাথে আবদ্ধ। এটি উভয় ডেটা সরবরাহকারী এবং ভোক্তাদের জন্য ঘর্ষণ তৈরি করে, যারা প্রাকৃতিকভাবে বিভিন্ন প্ল্যাটফর্ম চালান।
আজ, আমরা একটি নতুন ওপেন সোর্স প্রকল্প চালু করেছি যা সংস্থাগুলির মধ্যে ভাগ করে নেওয়া সহজ করে তোলে: ডেল্টা শেয়ারিং, বড় ডেটা সেটগুলির সুরক্ষিত রিয়েল-টাইম এক্সচেঞ্জের জন্য একটি উন্মুক্ত প্রোটোকল, প্রথমবারের জন্য পণ্যগুলির মধ্যে ডেটা সুরক্ষিত বিনিময় সক্ষম করে। আমরা বিশ্বের শীর্ষস্থানীয় সফ্টওয়্যার এবং ডেটা সরবরাহকারীদের অংশীদারদের সাথে ডেল্টা শেয়ারিং বিকাশ করছি।
ডেটাব্রিক্স বলেছেন যে এটি প্রক্রিয়াগুলির অদক্ষতা দূর করার আশাবাদী প্রায়শই প্রয়োজনীয় ম্যানুয়াল সংস্থাগুলি গ্রাহক, অংশীদার এবং সরবরাহকারীদের সাথে ডেটা বিনিময় করতে পারে। Orতিহাসিকভাবে, ডেটা ভাগ করে নেওয়ার পণ্যগুলি একটি একক বিক্রেতা বা বাণিজ্যিক পণ্যের সাথে বেঁধে দেওয়া হয়েছে, বিভিন্ন প্ল্যাটফর্ম ব্যবহার করে সংস্থাগুলির মধ্যে সহযোগিতা সীমাবদ্ধ করে।
ডেটাব্রিক্সের সহ-প্রতিষ্ঠাতা ও ফিল্ড ইঞ্জিনিয়ারিংয়ের সিনিয়র সহ-সভাপতি আরসালান টাভাকোলি (চিত্রিত) বলেছেন, "সংস্থাগুলি অন্যদের সাথে ভাগ করে নেওয়ার প্রধান উপায়টি একটি জটিল প্রক্রিয়াটি অনুসরণ করা বা একটি বিদ্যমান বিদ্যমান ব্যবস্থা ব্যবহার করা উচিত,"
একাধিক ডেটা উত্স একসাথে আনাও একটি কাজ। "আপনি সবাইকে অ্যাক্সেস দিতে পারবেন না," তিনি বলেছিলেন। “আপনি অ্যাক্সেস নিয়ন্ত্রণ, নিরীক্ষণ এবং সংস্করণ নিয়ন্ত্রণ চান। আজ তা করার কোনও উপায় নেই।
ডেল্টা ভাগ করে নেওয়া বিক্রেতার নির্ভরতা সীমাবদ্ধ করে এবং এটি এর আগে যতটা সম্ভব হয়েছে তার থেকে বিস্তৃত এবং আরও বিবিধ ব্যবহারের ক্ষেত্রে সক্ষম করে, সংস্থাটি বলেছে। Ityক্য ক্যাটালগ যা এসকিউএল, ভিজ্যুয়াল বিশ্লেষণ সরঞ্জামগুলি এবং পাইথন এবং আর ডেল্টা শেয়ারিংয়ের মতো প্রোগ্রামিং ভাষাগুলিতে ব্যবহৃত হতে পারে সংস্থাগুলিও এপাচি পারকুইট এবং ডেল্টা লেক ফর্ম্যাটে রিয়েল টাইমে বড় আকারে বিদ্যমান ডেটা সেটগুলি ভাগ করতে সক্ষম করে ables কপি।
ডেল্টা ভাগ করে নেওয়া ডেটাব্রিক্স দ্বারা চালু করা পঞ্চম বড় ওপেন সোর্স প্রকল্পঅ্যাপাচি স্পার্কের পরে, ডেল্টা লেক, মেশিন লার্নিংয়ের জন্য এমএলফ্লো এবং কোয়ালাস, যা স্পার্কে পান্ডাস ডেটা ফ্রেম অ্যাপ্লিকেশন প্রোগ্রাম ইন্টারফেস প্রয়োগ করে। প্রকল্পটি লিনাক্স ফাউন্ডেশনে অনুদান করা হচ্ছে।
উপরন্তু ডেটাব্রিকসও হাইলাইট করে «Ityক্য ক্যাটালগ« একটি মানক ডেটা ক্যাটালগ এবং কি "ডেল্টা ভাগ করে নেওয়ার" সাথে সামঞ্জস্যপূর্ণ। ইউনিটি ক্যাটালগের একটি নতুন ইন্টারফেস রয়েছে যা মেঘ এবং বিদ্যমান ক্যাটালগগুলিতে ডেটা সম্পর্কে সম্পূর্ণ দৃষ্টিভঙ্গি সহ কোনও সংস্থার সমস্ত ডাটাবেস আবিষ্কার এবং পরিচালনা করতে সহায়তা করবে, অবশ্যই ডেটাব্রিকসের লেকহাউস প্ল্যাটফর্মে।
Ityক্য ক্যাটালগ এএনএসআই এসকিউএল ভিত্তিক একটি একক সুরক্ষা মডেল সরবরাহ করে, মোতায়েনকে স্ট্রিমলাইনে এবং মেঘ প্রশাসনকে মানিক করে তোলা। টুলও বিদ্যমান ডেটা ক্যাটালগগুলিতে একীভূত করা যায় অ্যালেশন, কলিব্রা, প্রভিসেসেরা এবং ইম্মুটা সম্পর্কিত, যাতে স্ব স্ব ক্লায়েন্ট বিদ্যমান অবস্থার উপর ভিত্তি করে গড়ে তুলতে পারেন এবং উচ্চ মাইগ্রেশন ব্যয় ছাড়াই একটি কেন্দ্রীভূত এবং ভবিষ্যত-প্রমাণ প্রশাসনের মডেল প্রতিষ্ঠা করতে পারেন।
পরিশেষে আপনি যদি এটি সম্পর্কে আরও জানতে আগ্রহী হন, আপনি পরীক্ষা করতে পারেন নিম্নলিখিত লিঙ্কে বিশদ।