Burst Buffers, zal een van de nieuwe features van Reiser5 zijn

Enkele maanden geleden spraken we hier op de blog over reiser5, Welke is een bestandssysteem onderhouden door Edward Shishkin en die onderscheidt zich door innovatie op te nemen in parallel schalen, die niet op blokniveau wordt uitgevoerd, maar via het bestandssysteem.

Reiser5 is een substantieel herziene versie van het ReiserFS-bestandssysteem, waarin ondersteuning voor parallel schaalbare logische volumes is geïmplementeerd, waardoor een efficiënte distributie van gegevens over een logisch volume mogelijk is.

Nu, in meer recent nieuws, heeft Eduard Shishkin nieuwe functies aangekondigd die worden ontwikkeld als onderdeel van het Reiser5-project.

Van recente innovaties, Er is opgemerkt dat de gebruiker een klein krachtig blokapparaat kan toevoegen (bijv. NVRAM), een zogenaamde proxy-schijf, naar een relatief groot logisch volume dat bestaat uit low-budget schijven. Dit zal de indruk wekken dat het volledige volume bestaat uit dezelfde krachtige apparaten als de 'proxyschijf'.

De geïmplementeerde methode was gebaseerd op een simpele observatie dat in de praktijk het schrijven naar een schijf wordt niet constant uitgevoerd en de curve I / O-belasting Het heeft een snavelvorm. In het interval tussen dergelijke "pieken" is er altijd de mogelijkheid om gegevens van een proxyschijf te dumpen door alle gegevens (of slechts een deel ervan) op de "trage" hoofdopslag op de achtergrond te overschrijven. Daarom is de proxy-eenheid altijd klaar om nieuwe gegevens te ontvangen.

In eerste instantie deze techniek (bekend als burst-buffers) is ontstaan ​​op het gebied van high-performance computing (HPC). Maar het bleek ook om gewone applicaties te gaan, vooral applicaties die hoge eisen stellen aan de data-integriteit (dit is meestal een ander soort database). Deze wijzigingen worden atomair aangebracht door elke toepassing in elk bestand, namelijk:

• Eerst wordt een nieuw bestand gemaakt met de gewijzigde gegevens;
• Vervolgens wordt dit nieuwe bestand naar schijf geschreven met fsync (2);
• Daarna wordt het nieuwe bestand hernoemd naar het oude, wat automatisch de blokken bevrijdt die door oude gegevens worden ingenomen.

Al deze stappen veroorzaken tot op zekere hoogte een aanzienlijke vermindering van de prestaties op elk bestandssysteem. De situatie verbetert als het nieuwe bestand eerst naar een speciaal krachtig apparaat wordt geschreven, dat is precies wat er gebeurt in het Burst Buffers-bestandssysteem.

In Reiser5 is het de bedoeling om optioneel niet alleen nieuwe logische blokken te verzendens van bestand naar proxy-schijf, maar ook alle vuile pagina's in het algemeen. Ook niet alleen pagina's met data, maar ook met metadata, die worden vastgelegd in stap (2) en (3).

Proxy-schijven worden ondersteund in de context van normaal werk met logische volumes Reiser5 werd eerder dit jaar aangekondigd. Dat wil zeggen dat het geaggregeerde systeem "proxyschijf - primaire opslag" een gewoon logisch volume is, met het enige verschil dat de proxyschijf voorrang heeft op andere componenten van het volume in het schijfadresseringsbeleid.

Het toevoegen van een proxyschijf aan een logisch volume gaat niet gepaard met het opnieuw in evenwicht brengen van de gegevens, en het verwijderen ervan gebeurt op dezelfde manier als het verwijderen van een normale schijf. Alle bewerkingen op de proxy-schijf zijn atomair.

Na het toevoegen van een proxyschijf neemt de totale capaciteit van het logische volume toe met de capaciteit van deze schijf.

De proxyschijf moet periodiek worden schoongemaakt, dat wil zeggen, gegevens ervan naar het hoofdgeheugen dumpen. Nadat de stabiliteit van Reiser5 bèta is bereikt, is het de bedoeling om het reinigen automatisch te laten verlopen (dit wordt afgehandeld door een speciale kerndraad). In dit stadium ligt de verantwoordelijkheid voor het schoonmaken bij de gebruiker.

Als er geen vrije ruimte is op de proxyschijf, worden alle gegevens automatisch naar het hoofdgeheugen geschreven. Tegelijkertijd worden de algehele prestaties van de FS standaard verminderd (vanwege de constante aanroep van de bevestigingsprocedure van alle beschikbare transacties).

bron: https://marc.info