Burst Buffers, bude jednou z nových funkcí Reiser5

Před několika měsíci jsme zde na blogu mluvili o 5. Reiserkterý je souborový systém udržované Edwardem Shishkinem a které vyniká začleněním inovací do paralelního škálování, který se neprovádí na úrovni bloku, ale prostřednictvím souborového systému.

Reiser5 je podstatně revidovaná verze souborového systému ReiserFS, ve kterém je implementována podpora pro paralelní škálovatelné logické svazky, umožňující efektivní distribuci dat napříč logickým svazkem.

V novějších novinkách nyní Eduard Shishkin oznámil nové funkce, které jsou vyvíjeny v rámci projektu Reiser5.

Z posledních inovací Bylo pozorováno, že uživatel může přidat malé vysoce výkonné blokové zařízení (například NVRAM), nazývaný disk proxy, na relativně velký logický svazek složený z nízkorozpočtových disků. To vyvolá dojem, že celý svazek je tvořen stejnými výkonnými zařízeními jako „disk proxy“.

Implementovaná metoda byla založena na jednoduchém pozorování že v praxi zápis na disk se neprovádí neustále a křivka Zatížení I / O Má tvar zobáku. V intervalu mezi takovými „hroty“ vždy existuje možnost vypsat data z disku proxy přepsáním všech dat (nebo jen jejich části) na „pomalé“ hlavní úložiště na pozadí. Proto je proxy jednotka vždy připravena přijímat novou část dat.

Zpočátku tato technika (známé jako Burst Buffers) vznikl v oblasti vysoce výkonných počítačů (HPC). Ukázalo se však, že vyžaduje také běžné aplikace, zejména ty, které kladou vysoké nároky na integritu dat (obvykle jde o jiný druh databáze). Tyto změny provádí atomicky libovolná aplikace v libovolném souboru, jmenovitě:

• Nejprve se vytvoří nový soubor obsahující upravená data;
• Pak se tento nový soubor zapíše na disk pomocí fsync (2);
• Poté se nový soubor přejmenuje na starý, což automaticky uvolní bloky obsazené starými daty.

Všechny tyto kroky do určité míry způsobují výrazné snížení výkonu v jakémkoli systému souborů. Situace se zlepší, pokud je nový soubor poprvé zapsán do vyhrazeného vysoce výkonného zařízení, což se přesně děje v systému souborů Burst Buffers.

V Reiser5 se plánuje volitelně odesílat nejen nové logické blokys ze souboru na disk proxy, ale také všechny špinavé stránky obecně. Také nejen stránky s daty, ale také s metadaty, která se zaznamenávají v krocích (2) a (3).

Proxy disky jsou podporovány v rámci běžné práce s logickými svazky Reiser5 oznámil na začátku roku. To znamená, že agregovaný systém „disk proxy - primární úložiště“ je běžný logický svazek, s jediným rozdílem, že disk proxy má v zásadách adresování disku přednost před ostatními složkami svazku.

Přidání disku proxy do logického svazku není doprovázeno žádným vyvážením dat a k jeho odebrání dochází stejným způsobem jako odebrání normálního disku. Všechny operace s disky proxy jsou atomické.

Po přidání disku proxy se celková kapacita logického svazku zvýší o kapacitu tohoto disku.

Disk proxy by měl být pravidelně čištěn, to znamená ukládat data z něj do hlavního úložiště. Po dosažení stability beta verze Reiser5 se plánuje automatické čištění (bude zpracováno speciálním jádrem). V této fázi nese odpovědnost za čištění uživatel.

Pokud na disku proxy není volné místo, všechna data se automaticky zapíší do hlavního úložiště. Ve výchozím nastavení je zároveň snížen celkový výkon FS (kvůli neustálému vyvolání potvrzovacího postupu všech dostupných transakcí).

zdroj: https://marc.info