বিগ ডেটা এমন একটি শব্দ যা বড় ডেটা সংগ্রহের বিবরণ দিতে ব্যবহৃত হয় এবং এটি সময়ের সাথে দ্রুত বৃদ্ধি পায় grows
তথ্য এত বড় এবং প্রচলিত যে কোনও ডেটা ম্যানেজমেন্ট সরঞ্জামগুলির চেয়ে জটিল আপনি তাদের দক্ষতার সাথে সঞ্চয় বা প্রক্রিয়া করতে পারেন।
তবে আমাদের অবশ্যই তা বুঝতে হবে একটি নির্দিষ্ট বিন্যাসে সংরক্ষণ করা, অ্যাক্সেস এবং প্রসেস করা যায় এমন ডেটাগুলিকে বলা হয় 'কাঠামোগত' ডেটা।
que বড় স্কেলে পরিচালনা করা হয়, যা সমাধানগুলি অবশ্যই প্রয়োগ করা উচিত যা অল্প সময়ের মধ্যে প্রচুর পরিমাণে ডেটা হ্যান্ডেল করতে, সঞ্চয় করতে এবং বিশ্লেষণ করতে সক্ষম
বড় আকারে পরিচালিত পরিসংখ্যানগুলির দিকে তাকানোর সময়, 'বিগ ডেটা' নাম কেন দেওয়া হয়েছে তা সহজেই বুঝতে পারবেন এবং সঞ্চয় এবং প্রক্রিয়াজাতকরণের চ্যালেঞ্জগুলি কল্পনা করুন।
সে কারণেই আজ আমরা কয়েকটি জনপ্রিয় ওপেন সোর্স সরঞ্জাম সম্পর্কে শিখতে চলেছি যা ডেটা বিশ্লেষণ প্ল্যাটফর্ম তৈরি করতে ব্যবহার করা যেতে পারে।
অ্যাপাচি হাদুপ
অ্যাপাচি হাদুপ একটি ওপেন সোর্স সফ্টওয়্যার প্ল্যাটফর্ম যা বিতরণ পরিবেশে খুব বড় ডেটা সেটগুলি প্রসেস করে।
এই সরঞ্জাম সংগ্রহস্থল, গণনা শক্তি এবং উপর ভিত্তি করে প্রধানত স্বল্প মূল্যের বেসিক হার্ডওয়ারে।
অ্যাপাচি হাদুপ কয়েক থেকে হাজার হাজার সার্ভারে সহজেই স্কেল করার জন্য ডিজাইন করা।
এটি আপনাকে সাধারণ সমান্তরাল প্রক্রিয়াকরণ কনফিগারেশনে স্থানীয়ভাবে সঞ্চিত ডেটা প্রক্রিয়া করতে সহায়তা করে।
হাদুপের একটি সুবিধা হ'ল এটি সফ্টওয়্যার পর্যায়ে ব্যর্থতা পরিচালনা করে। অ্যাপাচি হ্যাডোপ ফাইল সিস্টেম স্তর, ক্লাস্টার পরিচালনা স্তর এবং প্রসেসিং স্তরগুলির জন্য একটি কাঠামো সরবরাহ করে।
এটি অন্যান্য প্রকল্প এবং ফ্রেমওয়ার্কের জন্য হ্যাডোপ ইকোসিস্টেমের সাথে একত্রে কাজ করার এবং সিস্টেমে উপলব্ধ যে কোনও স্তরগুলির জন্য তাদের নিজস্ব কাঠামো তৈরি করার বিকল্প ছেড়ে দেয়।
Elasticsearch
ইলাস্টিকসার্ক হয় একটি পূর্ণ-পাঠ্য-ভিত্তিক অনুসন্ধান এবং বিশ্লেষণ ইঞ্জিন। এটি একটি সিস্টেম অত্যন্ত স্কেলেবল এবং বিতরণ, বিশেষভাবে নকশা করা বড় ডেটা সিস্টেমগুলির সাথে দক্ষতার সাথে এবং দ্রুত কাজ করতে, যেখানে এর অন্যতম প্রধান ব্যবহার হ'ল লগ বিশ্লেষণ।
এটি উন্নত এবং জটিল অনুসন্ধান এবং উন্নত বিশ্লেষণ এবং অপারেশনাল বুদ্ধিমত্তার জন্য রিয়েল-টাইম প্রসেসিংয়ের নিকটে সক্ষম।
Elasticsearch জাভাতে লেখা এবং অ্যাপাচি লুসিনের উপর ভিত্তি করে লেখা, ইলাস্টিকসার্ক একটি স্কিমা-মুক্ত কাঠামোযুক্ত একটি JSON নথির উপর ভিত্তি করে তৈরি করা হয়েছে, এটি সহজ এবং সহজ গ্রহণযোগ্য করে তুলেছে।
এটি শীর্ষস্থানীয় ব্যবসায় গ্রেড অনুসন্ধান ইঞ্জিনগুলির মধ্যে একটি। আপনি আপনার ক্লায়েন্টকে যে কোনও প্রোগ্রামিং ভাষায় লিখতে পারেন; ইলাস্টিকসার্চ আনুষ্ঠানিকভাবে জাভা,। নেট, পিএইচপি, পাইথন, পার্ল ইত্যাদির সাথে কাজ করে
MongoDB
মঙ্গোডিবি হ'ল নথির ডেটা মডেলের উপর ভিত্তি করে একটি NoSQL ডাটাবেস। মঙ্গোডিবিতে সমস্ত কিছু সংগ্রহ বা নথি।
মঙ্গোডিবি পরিভাষাটি বোঝার জন্য, সংগ্রহটি টেবিলের জন্য একটি বিকল্প শব্দ, যখন ডকুমেন্টটি সারিগুলির জন্য একটি বিকল্প শব্দ।
MongoDB একটি ওপেন সোর্স, ডকুমেন্ট-ভিত্তিক, ক্রস-প্ল্যাটফর্ম ডাটাবেস। এটি মূলত সি ++ তে লেখা হয়েছে।
এটি উচ্চতর কর্মক্ষমতা, উচ্চ প্রাপ্যতা এবং সহজ স্কেলিবিলিটি সরবরাহ করে এমন শীর্ষস্থানীয় নোএসকিউএল ডাটাবেসও।
MongoDB স্কিমা সহ জেএসওনের মতো নথি ব্যবহার করে এবং দুর্দান্ত জিজ্ঞাসা সমর্থন সরবরাহ করে। এর কয়েকটি প্রধান ফাংশনগুলির মধ্যে ইনডেক্সিং, প্রতিলিপি, লোড ব্যালেন্সিং, সমষ্টিকরণ এবং ফাইল স্টোরেজ অন্তর্ভুক্ত রয়েছে।
কাসান্দ্রা
ক্যাসান্দ্রা হ'ল NoSQL ডাটাবেস পরিচালনার জন্য ডিজাইন করা একটি ওপেন সোর্স অ্যাপাচি প্রকল্প।
ক্যাসান্দ্রার সারিগুলি সারণিতে সজ্জিত এবং একটি কী দ্বারা সূচিযুক্ত। এটি কেবলমাত্র পরিশিষ্ট, রেকর্ড-ভিত্তিক স্টোরেজ ইঞ্জিন ব্যবহার করে।
ক্যাসান্দ্রার ডেটা একাধিক মাস্টার নোড জুড়ে বিতরণ করা হয়ব্যর্থতার এক বিন্দু ছাড়াই। এটি একটি উচ্চ-স্তরের অ্যাপাচি প্রকল্প, এবং এর বিকাশ বর্তমানে অ্যাপাচি সফ্টওয়্যার ফাউন্ডেশন (এএসএফ) দ্বারা তদারকি করা হয়েছে।
ক্যাসান্দ্রা হ'ল বৃহত্তর স্কেল (ওয়েব) এ অপারেশন সম্পর্কিত সমস্যাগুলি সমাধানের জন্য ডিজাইন করা।
ক্যাসান্দ্রার মাস্টার আর্কিটেকচার দেওয়া, এটি একটি ছোট (যদিও উল্লেখযোগ্য) বেশ কয়েকটি হার্ডওয়্যার ব্যর্থতার পরেও কাজ চালিয়ে যেতে পারে। ক্যাসান্দ্রা একাধিক ডেটা সেন্টারে একাধিক নোডে চলে।
ব্যর্থতা বা ডাউনটাইম এড়াতে এই ডেটা সেন্টারে ডেটা প্রতিলিপি করুন। এটি এটি একটি চূড়ান্ত ত্রুটি সহনকারী সিস্টেম করে তোলে।
আমি বিগডাটা সম্পর্কে জানতে আগ্রহী, বর্তমানে আইবিএম ক্লাউডে আমার একটি অ্যাকাউন্ট হোস্ট করা আছে, আমি সেখানে অ্যাপাচি স্পার্কের সাথে কাজ করতে চাই তবে আমি আমার দলের সাথে ভালভাবে লিঙ্ক করতে সক্ষম হইনি, আমি আপনার সমর্থনটির প্রশংসা করব