Burst Buffers wird eine der neuen Funktionen von Reiser5 sein

Vor einigen Monaten haben wir hier im Blog darüber gesprochen Reisen5, Welche ist ein Dateisystem gepflegt von Edward Shishkin und welche zeichnet sich durch die Einbeziehung von Innovationen in die parallele Skalierung aus, Dies erfolgt nicht auf Blockebene, sondern über das Dateisystem.

Reiser5 ist eine grundlegend überarbeitete Version des ReiserFS-Dateisystems, in der die Unterstützung für parallel skalierbare logische Volumes implementiert ist. Ermöglichen einer effizienten Verteilung von Daten über ein logisches Volume.

In neueren Nachrichten kündigte Eduard Shishkin neue Funktionen an, die im Rahmen des Reiser5-Projekts entwickelt werden.

Von den jüngsten Innovationen, Es wurde beobachtet, dass der Benutzer ein kleines Hochleistungsblockgerät hinzufügen kann (z. B. NVRAM), Proxy-Festplatte genannt, auf ein relativ großes logisches Volume, das aus Low-Budget-Festplatten besteht. Dies erweckt den Eindruck, dass das gesamte Volume aus denselben Hochleistungsgeräten besteht wie die "Proxy-Festplatte".

Die implementierte Methode basierte auf einer einfachen Beobachtung dass in der Praxis Das Schreiben auf eine Disc wird nicht ständig ausgeführt und die Kurve E / A-Last Es hat eine Schnabelform. In dem Intervall zwischen solchen "Spitzen" besteht immer die Möglichkeit, Daten von einer Proxy-Festplatte zu sichern, indem alle Daten (oder nur ein Teil davon) auf dem "langsamen" Hauptspeicher im Hintergrund überschrieben werden. Daher ist die Proxy-Einheit immer bereit, neue Daten zu empfangen.

Anfangs diese Technik (bekannt als Burst Buffers) entstanden im Bereich des Hochleistungsrechnens (HPC). Es stellte sich jedoch heraus, dass auch normale Anwendungen erforderlich waren, insbesondere solche, die hohe Anforderungen an die Datenintegrität stellen (dies ist normalerweise eine andere Art von Datenbank). Diese Änderungen werden atomar von jeder Anwendung in einer beliebigen Datei vorgenommen, nämlich:

• Zuerst wird eine neue Datei erstellt, die die geänderten Daten enthält.
• Dann wird diese neue Datei mit fsync (2) auf die Festplatte geschrieben.
• Danach wird die neue Datei in die alte umbenannt, wodurch die von alten Daten belegten Blöcke automatisch freigegeben werden.

Alle diese Schritte führen bis zu dem einen oder anderen Grad zu einer erheblichen Leistungsminderung in jedem Dateisystem. Die Situation verbessert sich, wenn die neue Datei zuerst auf ein dediziertes Hochleistungsgerät geschrieben wird. Genau das passiert im Burst Buffers-Dateisystem.

In Reiser5 ist geplant, optional nicht nur neue Logikblöcke zu sendens von der Datei auf die Proxy-Festplatte, aber auch alle schmutzigen Seiten im Allgemeinen. Auch nicht nur Seiten mit Daten, sondern auch mit Metadaten, die in den Schritten (2) und (3) aufgezeichnet werden.

Proxy-Datenträger werden im Rahmen der regulären Arbeit mit logischen Volumes unterstützt Reiser5 gab Anfang des Jahres bekannt. Mit anderen Worten, das Gesamtsystem "Proxy-Datenträger - Primärspeicher" ist ein gewöhnliches logisches Volume, mit dem einzigen Unterschied, dass der Proxy-Datenträger Vorrang vor anderen Komponenten des Volumes in der Datenträgeradressierungsrichtlinie hat.

Das Hinzufügen eines Proxy-Datenträgers zu einem logischen Datenträger geht nicht mit einem erneuten Datenausgleich einher, und das Entfernen erfolgt auf die gleiche Weise wie das Entfernen eines normalen Datenträgers. Alle Proxy-Disk-Operationen sind atomar.

Nach dem Hinzufügen eines Proxy-Datenträgers erhöht sich die Gesamtkapazität des logischen Datenträgers um die Kapazität dieses Datenträgers.

Die Proxy-Festplatte sollte regelmäßig bereinigt werden, dh Daten von ihr in den Hauptspeicher sichern. Nach Erreichen der Beta-Stabilität von Reiser5 ist geplant, die Reinigung automatisch durchzuführen (dies wird von einem speziellen Kernfaden behandelt). In diesem Stadium liegt die Verantwortung für die Reinigung beim Benutzer.

Wenn auf der Proxy-Festplatte kein freier Speicherplatz vorhanden ist, werden alle Daten automatisch in den Hauptspeicher geschrieben. Gleichzeitig wird die Gesamtleistung des FS standardmäßig reduziert (aufgrund des ständigen Aufrufs des Bestätigungsverfahrens aller verfügbaren Transaktionen).

Quelle: https://marc.info