Glanz Es ist ein verteiltes Open Source-Dateisystem. normalerweise in großen Clustern verwendet. Der Name ist eine Mischung aus Linux und Clustern.
Das Projekt Versuche, ein Dateisystem für Cluster von Zehntausenden von Knoten mit Petabyte Speicherkapazität bereitzustellen, ohne die Geschwindigkeit oder Sicherheit zu beeinträchtigen, und ist unter der GNU-GPL verfügbar.
Cluster File Systems sind die Designer, Entwickler und Betreuer von Lustre mit Beiträgen anderer Unternehmen und Einzelpersonen.
Über Lustre
Viele der schnellsten Supercomputer der Welt sind Cluster, die das Lustre-Dateisystem zur Speicherung verwenden, z. B. Systeme in ORNL, PNNL, LLNL und LANL.
Dieses System betrachtet jede im Lustre-Dateisystem gespeicherte Datei als Objekt. Lustre führt alle Clients in die Standard-POSIX-Semantik und den gleichzeitigen Lese- und Schreibzugriff für gemeinsam genutzte Objekte ein. Ein Lustre-Dateisystem verfügt über vier Funktionseinheiten.
Dies sind Metadatenserver (MDS) zum Speichern der Metadaten. ein Objektspeicherziel (OST) zum Speichern der tatsächlichen Daten; einen Object Storage Server (OSS) zum Verwalten der OSTs; Kunden, um auf die Daten zuzugreifen und sie zu verwenden.
OSTs sind Blockgeräte. Ein MDS, OSS und eine OST können sich auf demselben Knoten oder auf verschiedenen Knoten befinden.
Lustre verwaltet die OSTs nicht direkt und delegiert diese Verantwortung an die OSSs, um die Skalierbarkeit für große Cluster und Supercomputer sicherzustellen.
In einem Massively Parallell Processor (MPP) können Prozessoren auf das Lustre-Dateisystem zugreifen, indem sie ihre E / A-Anforderungen mit dem Task Launcher-Dienst an den Knoten umleiten, wenn dieser als Lustre-Client konfiguriert ist.
Obwohl es die einfachste Methode ist, bietet es im Allgemeinen eine schlechte Leistung. Eine etwas kompliziertere Möglichkeit, eine sehr gute Gesamtleistung zu erzielen, ist die Verwendung der Libluster-Bibliothek.
Libluster ist eine Bibliothek auf Benutzerebene, mit der Prozessoren das Lustre-Dateisystem bereitstellen und als Client verwenden können, wobei die Umleitung zum Dienstknoten umgangen wird.
Mit libluster können Prozessoren auf das Lustre-Dateisystem zugreifen, auch wenn der Dienstknoten, auf dem der Job gestartet wurde, kein Lustre-Client ist.
Libluster bietet einen Mechanismus zum direkten Verschieben von Daten zwischen dem Anwendungsbereich und den Lustre-OSSs, ohne dass eine Datenkopie durch den Lightweight-Core erstellt werden muss, wodurch eine geringe Latenz und eine hohe Bandbreite beim direkten Zugriff der Prozessoren auf das Lustre-Dateisystem erreicht werden.
Neue Version von Lustre
Recientemente Es wurde eine neue Version von Lustre 2.12 veröffentlicht, mit der einige neue Funktionen und vor allem Bugfixes hinzugefügt wurden für einige der verschiedenen Linux-Distributionen, die für Supercomputer verwendet werden.
Hauptneuheiten von Lustre 2.12
Mit dieser neuen Version Die Funktion zum Abstand vorhandener großer Verzeichnisse des verteilten Namespace wird hinzugefügt (DNE, Distributed Namespace) von einem Metadatenspeicherobjekt (DTM, Metadatenziele) zu vielen (Abstand verschiedener DNE-Segmente durch verschiedene DTMs).
Die neue Funktion vereinfacht die Einführung neuer MDTs für vorhandene FSs und das manuelle Ausgleichen der Last in MDT.
Für Metadaten-Repositorys (MDT) ist der Modus »Lazy Size« implementiert, mit dem Sie schnell die ungefähre Größe und nicht die exakte Größe der Dateien zurückgeben können, wenn Sie MDT in Situationen, in denen die Geschwindigkeit wichtiger ist als, direkt über die Policy Engine scannen Präzision.
Für Konfigurationen mit mehreren LNet-Netzwerkschnittstellen in dieser neuen Version von Lustre 2.12 Die Funktion «LNet Network Health» wurde hinzugefügt. Dies implementiert die Option, im Falle eines Fehlers beim ersten Senden einer Anforderung über eine andere Netzwerkschnittstelle erneut auf RPC zuzugreifen.
Darüber hinaus wurde die Serverunterstützung für Versionen von hinzugefügt RHEL 7.6 (3.10.0-957.el7) und SLES12 SP3 (4.4.162-94.69). Kundenunterstützung für nicht gepatchte Kernel RHEL 7.6 (3.10.0-957.el7), SLES12 SP3 (4.4.162-94.69) und Ubuntu 18.04 (4.15.0-32) hinzugefügt.