Burst Buffers on yksi Reiser5: n uusista ominaisuuksista

Useita kuukausia sitten puhuimme täällä blogissa Reiser 5, Joka on tiedostojärjestelmä jota ylläpitää Edward Shishkin ja mikä erottuu siitä, että sisällytetään innovaatio rinnakkaiseen skaalaukseen, joka ei suoriteta lohkotasolla vaan tiedostojärjestelmän kautta.

Reiser5 on huomattavasti uudistettu versio ReiserFS-tiedostojärjestelmästä, jossa tuetaan rinnakkain skaalautuvia loogisia taltioita, mahdollistaa tietojen tehokkaan jakamisen loogisen tilavuuden välillä.

Nyt tuoreissa uutisissa Eduard Shishkin ilmoitti uusista ominaisuuksista, joita kehitetään osana Reiser5-projektia.

Viimeisimmistä innovaatioista On havaittu, että käyttäjä voi lisätä pienen tehokkaan estolaitteen (esimerkiksi NVRAM), jota kutsutaan välityspalvelimeksi, suhteellisen suureksi loogiseksi levyksi, joka koostuu pienen budjetin levyistä. Tämä antaa vaikutelman, että koko levy koostuu samoista korkean suorituskyvyn laitteista kuin 'välityspalvelin'.

Toteutettu menetelmä perustui yksinkertaiseen havaintoon että käytännössä levylle kirjoittamista ei suoriteta jatkuvasti ja käyrä I / O-kuorma Se on nokan muotoinen. Tällaisten "piikkien" välillä on aina mahdollisuus pudottaa tietoja välityspalvelimelta korvaamalla kaikki tiedot (tai vain osa niistä) taustalla olevaan "hitaaseen" päämuistiin. Siksi välityspalvelinyksikkö on aina valmis vastaanottamaan uuden datan.

Aluksi tämä tekniikka (tunnetaan purskepuskureina) alkunsa suurteholaskennan alalla (HPC). Mutta kävi ilmi, että se vaati myös tavallisia sovelluksia, erityisesti niitä, jotka asettavat korkeita vaatimuksia tietojen eheydelle (tämä on yleensä erilainen tietokanta). Nämä muutokset tehdään atomisesti minkä tahansa tiedoston missä tahansa sovelluksessa, nimittäin:

• Ensin luodaan uusi tiedosto, joka sisältää muokatut tiedot;
• Sitten tämä uusi tiedosto kirjoitetaan levylle käyttämällä fsync (2);
• Sen jälkeen uusi tiedosto nimetään uudeksi vanhaksi, mikä vapauttaa automaattisesti vanhan datan käyttämät lohkot.

Kaikki nämä vaiheet, jossakin määrin, aiheuttavat merkittävän suorituskyvyn heikkenemisen missä tahansa tiedostojärjestelmässä. Tilanne paranee, jos uusi tiedosto kirjoitetaan ensin omistettuun korkean suorituskyvyn laitteeseen, mikä tapahtuu juuri Burst Buffers -tiedostojärjestelmässä.

Reiser5: ssä on tarkoitus lähettää valinnaisesti paitsi uusia logiikkalohkojas tiedostosta välityspalvelimelle, mutta myös kaikki likaiset sivut yleensä. Ei vain sivut, joissa on tietoja, vaan myös metatiedot, jotka tallennetaan vaiheissa (2) ja (3).

Välityspalvelinlevyjä tuetaan säännöllisen työskentelyn yhteydessä loogisten volyymien kanssa Reiser5 ilmoitti aiemmin vuonna. Toisin sanoen yhdistelmäjärjestelmä "välityspalvelin - ensisijainen tallennustila" on tavallinen looginen taltio, sillä ainoalla erolla, että välityspalvelin on etusijalla levyn osoitekäytännössä olevan levyn muihin osiin nähden.

Välityspalvelimen lisääminen loogiseen taltioon ei johda tietojen tasapainottamiseen, ja sen poisto tapahtuu samalla tavalla kuin normaalin levyn poistaminen. Kaikki välityspalvelinoperaatiot ovat atomisia.

Kun välilevy on lisätty, loogisen äänenvoimakkuuden kokonaiskapasiteetti kasvaa tämän levyn kapasiteetilla.

Välityspalvelin tulisi puhdistaa säännöllisesti, eli pudottaa tiedot siitä päämuistiin. Reiser5-beeta-vakauden saavuttamisen jälkeen on tarkoitus tehdä puhdistus automaattiseksi (sitä hoitaa erityinen ydinkierre). Tässä vaiheessa vastuu siivouksesta on käyttäjällä.

Jos välityspalvelinlevyllä ei ole vapaata tilaa, kaikki tiedot kirjoitetaan automaattisesti päämuistiin. Samalla FS: n yleinen suorituskyky heikkenee oletusarvoisesti (johtuen kaikkien käytettävissä olevien tapahtumien jatkuvasta vahvistusmenettelystä).

lähde: https://marc.info