Burst Buffers on üks Reiser5 uutest funktsioonidest

Mitu kuud tagasi rääkisime siin blogis Reiser 5, mis on failisüsteem mida haldab Edward Šiškin ja mis paistab silma innovatsiooni kaasamise abil paralleelsesse skaleerimisse, mis viiakse läbi mitte ploki tasandil, vaid failisüsteemi kaudu.

Reiser5 on failisüsteemi ReiserFS oluliselt muudetud versioon, milles rakendatakse paralleelselt skaleeritavate loogiliste mahtude tuge, võimaldades andmete tõhusat levitamist loogilises mahus.

Nüüd, uuemates uudistes, teatas Eduard Šiškin uutest funktsioonidest, mida arendatakse Reiser5 projekti raames.

Hiljutistest uuendustest On täheldatud, et kasutaja saab lisada väikese suure jõudlusega blokeerimisseadme (näiteks NVRAM), mida nimetatakse puhverserverkettaks, suhteliselt suure loogilise mahuni, mis koosneb madala eelarvega ketastest. See jätab mulje, et kogu köide koosneb samadest suure jõudlusega seadmetest nagu „puhverservel”.

Rakendatud meetod põhines lihtsal vaatlusel et praktikas plaadile kirjutamine ei toimu pidevalt ja kõver I / O koormus Sellel on noka kuju. Selliste "naastude" vahelises intervallis on alati võimalus puhverservelt kettalt andmeid välja kirjutada, kirjutades kõik andmed (või ainult osa neist) taustal olevale "aeglasele" põhimälule üle. Seetõttu on puhverserver alati valmis uue andmete vastuvõtmiseks.

Esialgu see tehnika (tuntud kui purskepuhvrid) pärineb suure jõudlusega arvutite valdkonnas (HPC). Kuid selgus, et see nõudis ka tavalisi rakendusi, eriti neid, mis esitavad kõrgeid nõudmisi andmete terviklikkusele (see on tavaliselt teist tüüpi andmebaas). Need muudatused tehakse aatomiliselt mis tahes faili mis tahes rakenduses, nimelt:

• Kõigepealt luuakse uus fail, mis sisaldab muudetud andmeid;
• Seejärel kirjutatakse see uus fail kettale, kasutades fsync (2);
• Pärast seda nimetatakse uus fail ümber vanaks, mis vabastab automaatselt vanade andmetega hõivatud plokid.

Kõik need sammud põhjustavad ühel või teisel määral märkimisväärset jõudluse vähenemist mis tahes failisüsteemis. Olukord paraneb, kui uus fail kirjutatakse esmalt spetsiaalsesse suure jõudlusega seadmesse, mis täpselt juhtub failisüsteemis Burst Buffers.

Reiser5-s on kavas valikuliselt saata mitte ainult uusi loogikaplokkes failist puhverserverisse, aga ka üldiselt kõik määrdunud lehed. Lisaks mitte ainult andmetega lehtedele, vaid ka metaandmetele, mis salvestatakse sammudes (2) ja (3).

Puhverserverkettaid toetatakse loogiliste mahtudega regulaarse töö kontekstis Reiser5 teatas aasta alguses. Teisisõnu, koondsüsteem "puhverserveketta esmane salvestusruum" on tavaline loogiline maht, mille ainus erinevus on see, et puhverservel ketas on ketta adresseerimispoliitikas köite teiste komponentide ees ülimuslik.

Puhverserviketta lisamisega loogilisse köitesse ei kaasne andmete tasakaalustamist ja selle eemaldamine toimub samamoodi nagu tavalise ketta eemaldamine. Kõik puhverserverketta toimingud on aatomilised.

Pärast puhverserveketta lisamist suureneb loogilise mahu kogumaht selle ketta mahuga.

Puhverserveri ketast tuleks perioodiliselt puhastada, see tähendab, et sealt andmed põhihoidlasse visata. Pärast Reiser5 beetastabiilsuse saavutamist on plaanis muuta puhastamine automaatseks (sellega tegeleb spetsiaalne südamikniit). Selles etapis lasub vastutus puhastamise eest kasutajal.

Kui puhverservel pole vaba ruumi, kirjutatakse kõik andmed automaatselt põhimällu. Samal ajal väheneb FS-i üldine jõudlus vaikimisi (kõigi olemasolevate tehingute kinnitusmenetluse pideva kutsumise tõttu).

allikas: https://marc.info