A Burst Buffers a Reiser5 egyik újdonsága lesz

Néhány hónappal ezelőtt itt, a blogon beszélgettünk róla reiser5, melyik egy fájlrendszer Edward Shishkin fenntartja és amely kiemelkedik azzal, hogy az innovációt a párhuzamos méretezésbe foglalja, amelyet nem blokkszinten hajtanak végre, hanem a fájlrendszeren keresztül.

A Reiser5 a ReiserFS fájlrendszer lényegesen módosított változata, amelyben párhuzamosan skálázható logikai kötetek támogatása valósul meg, lehetővé téve az adatok hatékony elosztását egy logikai kötet között.

Most, a legfrissebb hírekben, Eduard Shishkin új funkciókat jelentett be, amelyeket a Reiser5 projekt részeként fejlesztenek.

A legújabb újítások közül Megfigyelték, hogy a felhasználó felvehet egy kis, nagy teljesítményű blokkoló eszközt (például NVRAM), amelyet proxy lemeznek nevezünk, viszonylag nagy logikai kötetre, amely alacsony költségvetésű lemezekből áll. Ez azt a benyomást kelti, hogy a teljes kötet ugyanazokból a nagy teljesítményű eszközökből áll, mint a „proxy lemez”.

A megvalósított módszer egyszerű megfigyelésen alapult hogy a gyakorlatban lemezre írást nem végeznek folyamatosan, és a görbe I / O terhelés Csőr alakú. Az ilyen "csúcsok" közötti intervallumban mindig lehetőség van az adatok kiürítésére egy proxy lemezről úgy, hogy az összes adatot (vagy csak annak egy részét) felülírja a háttérben lévő "lassú" fõtárolón. Ezért a proxy egység mindig készen áll egy új adat fogadására.

Kezdetben ez a technika (Burst Buffers néven ismert) a nagy teljesítményű számítástechnika területén keletkezett (HPC). De kiderült, hogy hétköznapi alkalmazásokat is igényelt, különösen azokat, amelyek magas követelményeket támasztanak az adatok integritásával (ez általában egy más típusú adatbázis). Ezeket a változtatásokat bármely fájl bármely alkalmazásával végrehajtják, nevezetesen:

• Először egy új fájl jön létre, amely tartalmazza a módosított adatokat;
• Ezután az új fájlt a lemezre írja az fsync (2) használatával;
• Ezt követően az új fájlt átnevezik a régire, ami automatikusan felszabadítja a régi adatok által elfoglalt blokkokat.

Mindezek a lépések egy vagy másik mértékben jelentősen csökkentik a teljesítményt bármely fájlrendszerben. A helyzet javul, ha az új fájlt először egy dedikált nagy teljesítményű eszközre írják, ami pontosan történik a Burst Buffers fájlrendszerben.

A Reiser5-ben azt tervezik, hogy opcionálisan nemcsak új logikai blokkokat külds fájlról proxy lemezre, hanem általában az összes piszkos oldalt is. Ezenkívül nem csak adatokat tartalmazó oldalak, hanem metaadatok is, amelyeket a (2) és (3) lépésben rögzítenek.

A proxy lemezeket a logikai kötetekkel végzett rendszeres munka keretében támogatják A Reiser5 az év elején jelentette be. Vagyis az összesített rendszer "proxy lemez - elsődleges tároló" egy közönséges logikai kötet, azzal az egyetlen különbséggel, hogy a proxy lemez elsőbbséget élvez a kötet más összetevőivel szemben a lemezcímzési házirendben.

A proxy lemez hozzáadása egy logikai kötethez nem jár semmilyen adategyensúlyozással, és eltávolítása ugyanúgy történik, mint egy normál lemez eltávolítása. A proxy lemez összes művelete atomi.

Proxy lemez hozzáadása után a logikai kötet teljes kapacitása a lemez kapacitásával nő.

A proxy lemezt rendszeresen meg kell tisztítani, vagyis az adatokat ki kell dobni belőle a fő tárolóba. Miután elérte a Reiser5 béta stabilitását, azt tervezik, hogy a tisztítás automatikus lesz (ezt egy speciális magszál fogja kezelni). Ebben a szakaszban a tisztítás felelőssége a felhasználót terheli.

Ha nincs szabad hely a proxy lemezen, akkor az összes adatot automatikusan a fő tárhelyre írja. Ugyanakkor az FS teljes teljesítménye alapértelmezés szerint csökken (az összes rendelkezésre álló tranzakció megerősítési eljárásának folyamatos meghívása miatt).

forrás: https://marc.info