बिग डेटा एक शब्द है जिसका उपयोग बड़े डेटा के संग्रह का वर्णन करने के लिए किया जाता है। और वह समय के साथ तेजी से बढ़ता है।
डेटा बहुत बड़ा है और किसी भी पारंपरिक डेटा प्रबंधन उपकरण की तुलना में जटिल है आप इसे कुशलतापूर्वक संग्रहीत या संसाधित कर सकते हैं।
लेकिन हमें ये सब समझना होगा वह डेटा जिसे एक निश्चित प्रारूप के रूप में संग्रहीत, एक्सेस और संसाधित किया जा सकता है, 'संरचित' डेटा कहलाता है।
कि इनका प्रबंधन बड़े पैमाने पर किया जाता है. जिसमें समाधानों को क्रियान्वित किया जाना चाहिए जो कम समय में बड़ी मात्रा में डेटा को संभालने, संग्रहीत करने और विश्लेषण करने में सक्षम हैं
बड़े पैमाने पर संभाले जाने वाले आंकड़ों का अवलोकन करते समय, कोई भी आसानी से समझ सकता है कि 'बिग डेटा' नाम क्यों दिया गया है और इसके भंडारण और प्रसंस्करण के साथ आने वाली चुनौतियों की कल्पना करें।
इसीलिए आज हम कुछ लोकप्रिय ओपन सोर्स टूल के बारे में जानने जा रहे हैं जिनका उपयोग डेटा विश्लेषण प्लेटफ़ॉर्म बनाने के लिए किया जा सकता है।
अपाचे होडोप
अपाचे Hadoop है एक खुला स्रोत सॉफ़्टवेयर प्लेटफ़ॉर्म जो वितरित वातावरण में बहुत बड़े डेटा सेट को संसाधित करता है।
यह उपकरण भंडारण, कम्प्यूटेशनल शक्ति और के संबंध में निर्भर करता है मुख्य रूप से कम लागत वाले बुनियादी हार्डवेयर पर।
अपाचे Hadoop है इसे कुछ सर्वरों से लेकर हजारों सर्वरों तक आसानी से स्केल करने के लिए डिज़ाइन किया गया है।
यह आपको सामान्य समानांतर प्रसंस्करण सेटअप में स्थानीय रूप से संग्रहीत डेटा को संसाधित करने में मदद करता है।
Hadoop का एक लाभ यह है कि यह सॉफ़्टवेयर स्तर पर विफलता को संभालता है। Apache Hadoop फ़ाइल सिस्टम परत, क्लस्टर प्रबंधन परत और प्रोसेसिंग परत के लिए एक रूपरेखा प्रदान करता है।
यह अन्य परियोजनाओं और ढाँचों के लिए Hadoop इकोसिस्टम के साथ मिलकर काम करने और सिस्टम में उपलब्ध किसी भी परत के लिए अपना स्वयं का ढाँचा विकसित करने का विकल्प छोड़ता है।
Elasticsearch
इलास्टिक्स खोज है एक पूर्ण-पाठ आधारित खोज और विश्लेषण इंजन। यह एक प्रणाली है अत्यधिक स्केलेबल और वितरित, विशेष रूप से डिजाइन किया गया बड़े डेटा सिस्टम के साथ कुशलतापूर्वक और तेज़ी से काम करने के लिए, जहां इसका एक मुख्य उपयोग मामला लॉग विश्लेषण है।
यह उन्नत और जटिल खोजों और उन्नत विश्लेषण और परिचालन संबंधी बुद्धिमत्ता के लिए वास्तविक समय के प्रसंस्करण में सक्षम है।
Elasticsearch यह जावा में लिखा गया है और अपाचे ल्यूसीन पर आधारित है।, इलास्टिक्स खोज एक स्कीमा-मुक्त संरचना वाले JSON दस्तावेज़ पर आधारित है, जिससे इसे अपनाना आसान हो जाता है।
यह अग्रणी एंटरप्राइज़-ग्रेड खोज इंजनों में से एक है। आप अपने क्लाइंट को किसी भी प्रोग्रामिंग भाषा में लिख सकते हैं; Elasticsearch आधिकारिक तौर पर Java, .NET, PHP, Python, Perl, आदि के साथ काम करता है।
MongoDB
MongoDB है दस्तावेज़ डेटा मॉडल पर आधारित एक NoSQL डेटाबेस। MongoDB में हर चीज़ एक संग्रह या दस्तावेज़ है।
MongoDB शब्दावली को समझने के लिए, संग्रह तालिका के लिए एक वैकल्पिक शब्द है, जबकि दस्तावेज़ पंक्तियों के लिए एक वैकल्पिक शब्द है।
MongoDB एक खुला स्रोत, दस्तावेज़-उन्मुख और क्रॉस-प्लेटफ़ॉर्म डेटाबेस है। यह मुख्यतः C++ में लिखा गया है।
यह अग्रणी NoSQL डेटाबेस भी है जो उच्च प्रदर्शन, उच्च उपलब्धता और आसान स्केलेबिलिटी प्रदान करता है।
MongoDB स्कीमा के साथ JSON-जैसे दस्तावेज़ों का उपयोग करता है और बढ़िया क्वेरी समर्थन प्रदान करता है. इसके कुछ मुख्य कार्यों में अनुक्रमण, प्रतिकृति, लोड संतुलन, एकत्रीकरण और फ़ाइल भंडारण शामिल हैं।
कैसांद्रा
कैसेंड्रा है NoSQL डेटाबेस प्रशासन के लिए डिज़ाइन किया गया एक खुला स्रोत अपाचे प्रोजेक्ट।
कैसंड्रा की पंक्तियों को तालिकाओं में व्यवस्थित किया गया है और एक कुंजी द्वारा अनुक्रमित किया गया है। यह केवल परिशिष्ट, रिकॉर्ड-आधारित भंडारण इंजन का उपयोग करता है।
कैसेंड्रा में डेटा कई मास्टर्नोड्स में वितरित किया जाता हैअसफलता के एक भी बिंदु के बिना। यह एक उच्च स्तरीय अपाचे परियोजना है, और इसके विकास की देखरेख वर्तमान में अपाचे सॉफ्टवेयर फाउंडेशन (एएसएफ) द्वारा की जाती है।
कैसेंड्रा है बड़े (वेब) पैमाने पर संचालन से जुड़ी समस्याओं को हल करने के लिए डिज़ाइन किया गया।
कैसेंड्रा के मास्टर आर्किटेक्चर को देखते हुए, यह हार्डवेयर विफलताओं की एक छोटी (लेकिन महत्वपूर्ण) संख्या के बावजूद संचालन जारी रख सकता है। कैसेंड्रा कई डेटा केंद्रों में कई नोड्स पर चलता है।
यह विफलताओं या डाउनटाइम से बचने के लिए इन डेटा केंद्रों में डेटा की प्रतिकृति बनाता है। यह इसे अत्यधिक दोष-सहिष्णु प्रणाली बनाता है।
मुझे बिगडेटा के बारे में सीखने में अधिक रुचि है। वर्तमान में मेरा एक खाता आईबीएम क्लाउड में होस्ट किया गया है। मैं अपाचे स्पार्क के साथ वहीं काम करना चाहता हूं लेकिन मैं अपनी टीम के साथ अच्छी तरह से जुड़ने में सक्षम नहीं हूं। मैं आपके समर्थन की सराहना करूंगा।