Burst Buffers kommer att bli en av de nya funktionerna i Reiser5

För flera månader sedan pratade vi här på bloggen om resor5vilken är ett filsystem underhålls av Edward Shishkin och vilken sticker ut för att inkludera innovation i parallell skalning, som inte utförs på blocknivå utan via filsystemet.

Reiser5 är en väsentligt reviderad version av ReiserFS-filsystemet, där stöd för parallella skalbara logiska volymer implementeras, möjliggör effektiv distribution av data över en logisk volym.

Nu, i nyare nyheter, tillkännagav Eduard Shishkin nya funktioner som utvecklas som en del av Reiser5-projektet.

Av de senaste innovationerna Det har observerats att användaren kan lägga till en liten högpresterande blockenhet (till exempel NVRAM), kallad en proxydisk, till en relativt stor logisk volym som består av lågbudgetskivor. Detta kommer att ge intryck av att hela volymen består av samma högpresterande enheter som '' proxydisken ''.

Den implementerade metoden baserades på en enkel observation att i praktiken skrivning till en skiva utförs inte ständigt och kurvan I / O-belastning Den har en näbbform. I intervallet mellan sådana "spikar" finns det alltid möjlighet att dumpa data från en proxydisk genom att skriva över all data (eller bara en del av den) på den "långsamma" huvudlagringen i bakgrunden. Därför är proxyenheten alltid redo att ta emot en ny bit data.

Ursprungligen denna teknik (känd som Burst Buffers) härstammar från högpresterande datorer (HPC). Men det visade sig att det också krävde vanliga applikationer, särskilt de som ställer höga krav på dataintegritet (detta är vanligtvis en annan typ av databas). Dessa ändringar görs atomiskt av alla applikationer i valfri fil, nämligen:

• Först skapas en ny fil som innehåller modifierade data;
• Sedan skrivs den här filen till disk med fsync (2);
• Därefter byts namn på den nya filen till den gamla, vilket automatiskt frigör blocken som är upptagen av gamla data.

Alla dessa steg, i en eller annan grad, orsakar en signifikant minskning av prestanda på alla filsystem. Situationen förbättras om den nya filen först skrivs till en dedikerad högpresterande enhet, vilket är exakt vad som händer i Burst Buffers-filsystemet.

I Reiser5 är det planerat att inte bara skicka nya logikblocks från fil till proxydisk, men också alla smutsiga sidor i allmänhet. Inte bara sidor med data utan även metadata, som registreras i steg (2) och (3).

Proxy-diskar stöds i samband med regelbundet arbete med logiska volymer Reiser5 tillkännagavs tidigare under året. Med andra ord är det samlade systemet "proxydisk - primär lagring" en vanlig logisk volym, med den enda skillnaden att proxydisken har företräde framför andra komponenter i volymen i diskadresseringspolicyn.

Att lägga till en proxydisk till en logisk volym åtföljs inte av någon ombalansering av data, och dess borttagning sker på samma sätt som att ta bort en vanlig disk. Alla proxydiskoperationer är atomära.

Efter att ha lagt till en proxydisk ökar den totala kapaciteten för den logiska volymen med kapaciteten för denna disk.

Proxy-disken bör rengöras regelbundet, det vill säga dumpa data från den till huvudlagringen. Efter att Reiser5 beta-stabilitet har uppnåtts, är det planerat att göra rengöringen automatisk (den hanteras av en speciell kärntråd). I detta skede ligger ansvaret för rengöring hos användaren.

Om det inte finns ledigt utrymme på proxydisken skrivs all data automatiskt till huvudlagringen. Samtidigt reduceras FS: s totala prestanda som standard (på grund av ständig åberopande av bekräftelseförfarandet för alla tillgängliga transaktioner).

Fuente: https://marc.info