Suspension C'est un système de fichiers distribué Open Source, normalement utilisé dans les grappes à grande échelle. Le nom est un mélange de Linux et de clusters.
Le projet tente de fournir un système de fichiers pour des clusters de dizaines de milliers de nœuds avec des pétaoctets de capacité de stockage, sans compromettre la vitesse ou la sécurité, et est disponible sous la GNU GPL.
Les systèmes de fichiers de cluster sont les concepteurs, les développeurs et les mainteneurs de Luster avec des contributions d'autres entreprises et individus.
À propos de Lustre
La plupart des supercalculateurs les plus rapides au monde sont des clusters qui utilisent le système de fichiers Luster comme stockage, comme les systèmes ORNL, PNNL, LLNL et LANL.
Ce système considère chaque fichier stocké dans le système de fichiers Lustre comme un objet. Luster présente à tous les clients la sémantique POSIX standard et l'accès simultané en lecture et en écriture pour les objets partagés. Un système de fichiers Lustre comprend quatre unités fonctionnelles.
Il s'agit du serveur de métadonnées (MDS) pour stocker les métadonnées; une cible de stockage d'objets (OST) pour enregistrer les données réelles; un serveur de stockage d'objets (OSS) pour gérer les OST; client (s) pour accéder et utiliser les données.
Les OST sont des périphériques par blocs. Un MDS, un OSS et un OST peuvent résider sur le même nœud ou sur des nœuds différents.
Luster ne gère pas directement les OST et délègue cette responsabilité aux OSS pour assurer l'évolutivité des grands clusters et des supercalculateurs.
Dans un processeur massivement parallèle (MPP), les processeurs peuvent accéder au système de fichiers Luster en redirigeant leurs demandes d'E / S vers le nœud avec le service de lancement de tâches s'il est configuré en tant que client Luster.
Bien que ce soit la méthode la plus simple, elle offre généralement des performances médiocres. Une manière légèrement plus compliquée de fournir de très bonnes performances globales consiste à utiliser la bibliothèque libluster.
Libluster est une bibliothèque de niveau utilisateur qui permet aux processeurs de monter et d'utiliser le système de fichiers Luster en tant que client, en contournant la redirection vers le nœud de service.
À l'aide de libluster, les processeurs peuvent accéder au système de fichiers Luster, même si le nœud de service sur lequel le travail a été lancé n'est pas un client Luster.
Libluster fournit un mécanisme pour déplacer les données directement entre l'espace d'application et les OSS Lustre sans avoir besoin de copier les données via le noyau léger, permettant ainsi une faible latence et une bande passante élevée en accès direct aux processeurs.au système de fichiers Luster.
Nouvelle version de Lustre
Récemment une nouvelle version de Luster 2.12 a été publiée avec laquelle de nouvelles fonctions et surtout des corrections de bogues ont été ajoutées pour certaines des différentes distributions Linux utilisées pour les supercalculateurs.
Principales nouveautés de Lustre 2.12
Avec cette nouvelle version la fonction d'espacement des grands répertoires existants de l'espace de noms distribué est ajoutée (DNE, espace de noms distribué) d'un objet de stockage de métadonnées (DTM, cibles de métadonnées) à plusieurs (espacement de différents segments DNE par différents DTM).
La nouvelle fonctionnalité simplifie l'introduction de nouveaux MDT pour les FS existants et le rééquilibrage manuel de la charge dans MDT.
Pour les référentiels de métadonnées (MDT), le mode »Lazy Size« est implémenté, ce qui vous permet de renvoyer rapidement la taille approximative plutôt que la taille exacte des fichiers lorsque vous scannez directement MDT via le moteur de politique dans les situations où la vitesse est plus importante que précision.
Pour les configurations avec plusieurs interfaces réseau LNet, dans cette nouvelle version de Luster 2.12 la fonction «LNet Network Health» est ajoutée, qui implémente l'option de ré-accéder à RPC via une autre interface réseau en cas d'échec la première fois qu'une requête est envoyée.
En plus de cela, la prise en charge du serveur a été ajoutée pour les versions de RHEL 7.6 (3.10.0-957.el7) et SLES12 SP3 (4.4.162-94.69). Ajout du support client pour les noyaux RHEL 7.6 (3.10.0-957.el7), SLES12 SP3 (4.4.162-94.69) et Ubuntu 18.04 (4.15.0-32) non corrigés.