Burst Buffers bo ena od novosti Reiser5

Pred nekaj meseci smo se tukaj na blogu pogovarjali o reiser5, ki je datotečni sistem ki jo vzdržuje Edward Shishkin in ki izstopa po vključitvi inovacij v vzporedno skaliranje, ki se izvaja ne na ravni bloka, temveč prek datotečnega sistema.

Reiser5 je bistveno revidirana različica datotečnega sistema ReiserFS, v kateri je izvedena podpora za vzporedne razširljive logične nosilce, omogoča učinkovito distribucijo podatkov po logičnem nosilcu.

Zdaj je v najnovejših novicah Eduard Shishkin napovedal nove funkcije, ki se razvijajo v okviru projekta Reiser5.

Med nedavnimi novostmi Opazili so, da lahko uporabnik doda majhno visoko zmogljivo blokovno napravo (na primer NVRAM), imenovan proxy disk, na razmeroma velik logični nosilec, sestavljen iz nizkoproračunskih diskov. Tako se bo ustvaril vtis, da je celoten obseg sestavljen iz istih visoko zmogljivih naprav kot "proxy disk".

Izvedena metoda je temeljila na preprostem opazovanju da v praksi zapisovanje na disk se ne izvaja stalno in krivulja V / I obremenitev Ima kljunasto obliko. V intervalu med takšnimi "konicami" je vedno priložnost, da podatke s proxy diska izbrišete tako, da prepišete vse podatke (ali samo njihov del) v "počasno" glavno shrambo v ozadju. Zato je enota proxy vedno pripravljena na sprejem novega podatka.

Sprva ta tehnika (znan kot Burst puferji) izvira iz področja visokozmogljivega računalništva (HPC). Izkazalo pa se je, da zahteva tudi običajne aplikacije, zlasti tiste, ki postavljajo visoke zahteve po celovitosti podatkov (to je običajno drugačna baza podatkov). Te spremembe atomsko izvede katera koli aplikacija v kateri koli datoteki, in sicer:

• Najprej se ustvari nova datoteka, ki vsebuje spremenjene podatke;
• Nato se ta nova datoteka zapiše na disk s pomočjo fsync (2);
• Po tem se nova datoteka preimenuje v staro, kar samodejno sprosti bloke, ki jih zasedajo stari podatki.

Vsi ti koraki v eni ali drugi stopnji povzročijo znatno zmanjšanje zmogljivosti katerega koli datotečnega sistema. Stanje se izboljša, če novo datoteko najprej zapišete v namensko visoko zmogljivo napravo, kar se točno zgodi v datotečnem sistemu Burst Buffers.

V Reiser5 je načrtovano pošiljanje ne samo novih logičnih blokovs datoteke na proxy disk, ampak tudi vse umazane strani na splošno. Ne le strani s podatki, ampak tudi z metapodatki, ki so zabeleženi v korakih (2) in (3).

Proxy diski so podprti v okviru rednega dela z logičnimi zvezki Reiser5 je bil objavljen v začetku leta. To pomeni, da je skupni sistem "proxy disk - primarni pomnilnik" navaden logični nosilec, z edino razliko, da ima proxy disk prednost pred drugimi komponentami nosilca v usmerjanju diska.

Dodajanje proxy diska v logični nosilec ne spremlja nobeno ponovno uravnoteženje podatkov in njegovo odstranjevanje poteka na enak način kot odstranjevanje običajnega diska. Vse operacije diska proxy so atomske.

Po dodajanju proxy diska se skupna zmogljivost logičnega nosilca poveča za kapaciteto tega diska.

Proxy disk je treba redno čistiti, to pomeni, da podatke iz njega izpisujete v glavni pomnilnik. Po doseganju stabilnosti Reiser5 beta načrtujemo samodejno čiščenje (z njim bo poskrbel poseben jedrni navoj). Na tej stopnji je za čiščenje odgovoren uporabnik.

Če na proxy disku ni prostega prostora, se vsi podatki samodejno zapišejo v glavni pomnilnik. Hkrati se skupna zmogljivost sistema FS privzeto zmanjša (zaradi stalnega priklica postopka potrditve vseh razpoložljivih transakcij).

vir: https://marc.info