बेकार डेटा कमी करण्यासाठी डिझाइन केलेली फाइल सिस्टम ड्वॉरएफएस

मार्कस हॉलंड-मॉरिट्झ (एक फेसबुक सॉफ्टवेअर अभियंता) ते ज्ञात केले एका प्रकाशनातून द्वारएफएसच्या पहिल्या आवृत्त्या, वाचन-केवळ फाइल सिस्टम संकुचन अधिकतम करण्यासाठी आणि अनावश्यक डेटा कमी करण्यासाठी डिझाइन केलेली आहे.

ही फाइल प्रणाली FUSE यंत्रणा वापरते आणि वापरकर्ता जागेत चालते, कोड सी ++ मध्ये लिहिलेला आहे आणि जीपीएलव्ही 3 परवान्याअंतर्गत वितरीत केला आहे.

द्वारएफएस बद्दल

द्वारएफएस स्क्वॉएफएस, क्रॅमफ्स आणि क्रॉमएफएस सारख्या फाइल सिस्टमसारखे दिसतात आपल्या कार्यांमध्ये आणि थेट डुप्लिकेट्स आणि डुप्लिकेट डेटासह फायलींचा आकार कमी करण्यासाठी आणि थेट फायलींचे आकार कमी करण्यासाठी वापरले जाऊ शकतात (उदाहरणार्थ, व्हर्च्युअल मशीनच्या प्रतिमांचे संग्रहण किंवा प्रोग्रामच्या भिन्न आवृत्त्यांचे संग्रह).

गती दृष्टीने डेटा प्रवेश, द्वारएफएस साधारणपणे स्क्वॉफएसच्या पातळीवर आहे, परंतु कम्प्रेशन कार्यक्षमता आणि इमेजिंग गतीच्या दृष्टीने या एफएसपेक्षा कित्येक वेळा पुढे.

पर्लच्या विविध आवृत्त्यांसह स्टोरेज ऑप्टिमाइझ करण्याच्या समस्येचे निराकरण करण्यासाठी हा प्रकल्प विकसित करण्यात आला आहे (ड्वारएफएसचे लेखक सीपीएएन फाईलच्या देखभालीमध्ये भाग घेतात).

सुरुवातीला, आम्ही कॉम्प्रेशनसाठी क्रॉम्फ वापरण्याचा प्रयत्न केला, परंतु प्रतिमा तयार करण्यास खूप वेळ लागला आणि स्थिरतेने इच्छिततेसाठी बरेच काही सोडले. स्क्वॉफएसने स्थिरपणे काम केले आणि प्रतिमांना सहज वेगाने प्रस्तुत केले गेले परंतु कॉम्प्रेशनची पातळी अस्वीकार्य होती.

बहुतेक द्वारएफएस कोड 2013 मध्ये लिहिले होते. यावर्षी लेखकाला हा कोड लोकांसमोर आणण्यासाठी आणि कागदपत्रे लिहिण्यासाठी वेळ मिळाला. DwarFS बूस्ट आणि फोल लायब्ररी वापरते.

थ्रिफ्ट फेसबुक शाखा फ्रोजन लायब्ररी मेटाडेटा संचयित करण्यासाठी वापरली जाते. इतर अवलंबित्वांमध्ये FUSE3 आणि lz4, zstd आणि liblzma कॉम्प्रेशन लायब्ररी समाविष्ट आहेत.

कॉम्प्रेशन रेटच्या बाबतीत 8 वेळा द्वारएफएसने स्क्वैशएफएसला मागे टाकले, आणि प्रतिमा निर्माण करताना 4 वेळा प्रतिमा तयार करण्याच्या दृष्टीने 1139 विविध पर्ल प्रतिष्ठापने समाविष्ट आहेत, त्यापैकी पर्लच्या 284 आवृत्त्या आहेत.

द्वारएफएस 47GB ते 582MB पर्यंत बेंचमार्क संकुचित करण्यात सक्षम होता (मूळ आकाराच्या 1,1%), तर परिणामी स्क्वॉशएफएस प्रतिमेचा आकार 4,7 जीबी होता. स्क्वॉफएसने प्रतिमा तयार करण्यासाठी minutes took मिनिटांचा कालावधी घेतला, तर ड्वॉर्फेसने १ minutes मिनिटांत काम पूर्ण केले.

दोन्ही फाईल सिस्टमने झेडएसटीडी अल्गोरिदम कॉम्प्रेशनसाठी वापरले. एलझेडएमए वापरुन, ड्वॉरएफएस प्रतिमेचा आकार आणखी 18% (अंदाजे 479MB) कमी केला गेला, परंतु त्या प्रतिमेची प्रवेश गती लक्षणीयरीत्या कमी केली गेली.

कमी डुप्लिकेट्ससह डेटासह चाचण्यांनी एक फायदा दर्शविला द्वारएफएसकडून तेवढे लक्षणीय नसले तरीही उल्लेखनीय आहे. उदाहरणार्थ, पेस्बेरी पाई ओएस रूट एफएससाठी प्रतिम आकार द्वारएफएससाठी 298 एमबी आणि स्क्वॉएफएससाठी 364 एमबी होता, आणि बिल्ड वेळ अनुक्रमे 1 मिनिट 36 सेकंद आणि 1 मिनिट 54 सेकंद होते.

च्या द्वारएफएसची प्रमुख वैशिष्ट्ये खाली उभे रहा:

• सामर्थ्य क्षमता समान ऑब्जेक्ट्स ओळखण्यासाठी एलएसएच हॅश फंक्शनचा वापर करून समान डेटा (फाईल सीमांना पर्वा न करता) गटबद्ध करून रिडंडंसी दूर करते.
• अधिक आवश्यक डेटा प्रविष्ट केल्यामुळे असम्पीडित फाइल सिस्टमचे आकार कमी करण्यासाठी आणि प्रोसेसर कॅशेच्या वापराची कार्यक्षमता वाढविण्यासाठी फाइल सिस्टम ब्लॉक विभाजनाचे विश्लेषण.
• इमेजिंग युटिलिटीची मल्टी-थ्रेडेड अंमलबजावणी आणि एफयूएसई मॉड्यूल, जे चालताना सर्व उपलब्ध सीपीयू कोर वापरू शकेल.
• सामग्री फिल्टर आणि क्रमवारी लावण्यासाठी वापरल्या जाणार्‍या ल्यूआ नियंत्रकांना जोडण्याच्या क्षमतेसाठी प्रायोगिक समर्थन.
• आधीपासून तयार केलेल्या प्रतिमेचे कॉम्प्रेशन अल्गोरिदम बदलण्याची परवानगी देणारे रीपेकेजिंग मोड (उदाहरणार्थ, आपण झेडएसटीडी ऐवजी एलझेडएमए किंवा एलझेड 4 वापरुन रिपेकेज करू शकता).
• प्रतिमा mkdwarfs युटिलिटी वापरुन तयार केल्या आहेत आणि dwarfs युटिलिटी वापरुन आरोहित केल्या आहेत.

शेवटी, आपल्याला या फाईल सिस्टमबद्दल अधिक जाणून घ्यायचे असल्यास किंवा त्याचा स्त्रोत कोड संकलित करण्यास इच्छुक असल्यास आपण माहितीचा सल्ला घेऊ शकता किंवा स्त्रोत कोड प्राप्त करू शकता पुढील लिंकवर