Burst Buffers, sera l'une des nouvelles fonctionnalités de Reiser5

Il y a plusieurs mois, nous avons parlé ici sur le blog de reiser5, lequel est un système de fichiers maintenu par Edward Shishkin et qui se distingue par l'intégration de l'innovation dans la mise à l'échelle parallèle, qui est effectué non pas au niveau du bloc, mais à travers le système de fichiers.

Reiser5 est une version sensiblement révisée du système de fichiers ReiserFS, dans laquelle la prise en charge des volumes logiques évolutifs parallèles est implémentée, permettant une distribution efficace des données sur un volume logique.

Maintenant, dans des nouvelles plus récentes, Eduard Shishkin a annoncé de nouvelles fonctionnalités qui sont en cours de développement dans le cadre du projet Reiser5.

Des innovations récentes, Il a été observé que l'utilisateur peut ajouter un petit périphérique bloc haute performance (par exemple, NVRAM), appelé disque proxy, vers un volume logique relativement important composé de disques à petit budget. Cela donnera l'impression que tout le volume est composé des mêmes périphériques hautes performances que le «disque proxy».

La méthode mise en œuvre reposait sur un simple constat que, dans la pratique, l'écriture sur un disque n'est pas effectuée en permanence et la courbe Charge d'E / S Il a une forme de bec. Dans l'intervalle entre ces "pics", il y a toujours la possibilité de vider les données d'un disque proxy en écrasant toutes les données (ou juste une partie de celles-ci) sur le stockage principal "lent" en arrière-plan. Par conséquent, l'unité proxy est toujours prête à recevoir une nouvelle donnée.

Au départ, cette technique (connu sous le nom de Burst Buffers) originaire du domaine du calcul haute performance (HPC). Mais il s'est avéré qu'il exigeait également des applications ordinaires, en particulier celles qui imposent des exigences élevées en matière d'intégrité des données (il s'agit généralement d'un type de base de données différent). Ces modifications sont apportées de manière atomique par n'importe quelle application dans n'importe quel fichier, à savoir:

• Tout d'abord, un nouveau fichier est créé contenant les données modifiées;
• Ensuite, ce nouveau fichier est écrit sur le disque en utilisant fsync (2);
• Après cela, le nouveau fichier est renommé en l'ancien, ce qui libère automatiquement les blocs occupés par les anciennes données.

Toutes ces étapes, à un degré ou à un autre, entraînent une diminution significative des performances sur n'importe quel système de fichiers. La situation s'améliore si le nouveau fichier est d'abord écrit sur un périphérique haute performance dédié, c'est exactement ce qui se passe dans le système de fichiers Burst Buffers.

Dans Reiser5, il est prévu d'envoyer en option non seulement de nouveaux blocs logiquess du fichier au disque proxy, mais aussi toutes les pages sales en général. Aussi, non seulement des pages avec des données, mais aussi avec des métadonnées, qui sont enregistrées aux étapes (2) et (3).

Les disques proxy sont pris en charge dans le cadre d'un travail régulier avec des volumes logiques Reiser5 a annoncé plus tôt dans l'année. Autrement dit, le système agrégé "disque proxy - stockage principal" est un volume logique ordinaire, à la seule différence que le disque proxy a la priorité sur les autres composants du volume dans la politique d'adressage de disque.

L'ajout d'un disque proxy à un volume logique ne s'accompagne d'aucun rééquilibrage des données et sa suppression se produit de la même manière que la suppression d'un disque normal. Toutes les opérations de disque proxy sont atomiques.

Après l'ajout d'un disque proxy, la capacité totale du volume logique augmente de la capacité de ce disque.

Le disque proxy doit être nettoyé périodiquement, c'est-à-dire vider les données de celui-ci vers le stockage principal. Après avoir atteint la stabilité bêta de Reiser5, il est prévu de rendre le nettoyage automatique (il sera géré par un thread spécial). À ce stade, la responsabilité du nettoyage incombe à l'utilisateur.

S'il n'y a pas d'espace libre sur le disque proxy, toutes les données sont automatiquement écrites sur le stockage principal. Dans le même temps, les performances globales du FS sont réduites par défaut (en raison de l'invocation constante de la procédure de confirmation de toutes les transactions disponibles).

source: https://marc.info