Llustre, un dels sistemes d'arxius utilitzats en clústers i superordinadors

llustre-logo

Brillantor és un sistema d'arxius distribuït Open Source, normalment utilitzat en clústers a gran escala. El nom és una barreja de Linux i clústers.

El Projecte intenta proporcionar un sistema d'arxius per a clústers de desenes de milers de nodes amb petabytes de capacitat d'emmagatzematge, Sense comprometre la velocitat o la seguretat, i està disponible sota la GNU GPL.

Clúster File Systems són els dissenyadors, desenvolupadors i mantenidors de Llustre amb col·laboracions d'altres companyies i particulars.

sobre Lluïssor

Molts dels superordinadors més ràpids de món són clústers que utilitzen el sistema d'arxius Lluïssor com emmagatzematge, com els sistemes en ORNL, PNNL, LLNL i LANL.

Aquest sistema considera a cada arxiu emmagatzemat en el sistema d'arxius Lustri un objecte. Llustre presenta a tots els clients una semàntica POSIX estàndard i accés concurrent lectura i escriptura per als objectes compartits. Un sistema d'arxius Lluïssor té quatre unitats funcionals.

Aquestes són Meta data server (MDS) per emmagatzemar les metadades; XNUMX Object storage target (OST) per guardar les dades reals; XNUMX Object storage server (OSS) per manejar els OSTs; client (s) per accedir i utilitzar les dades.

Els OSTs són dispositius de blocs. Un MDS, OSS, i un OST poden residir en el mateix node o en nodes diferents.

Llustre no administra directament els OSTs, i delega aquesta responsabilitat en els OSSs per assegurar l'escalabilitat per a grans clústers i supercomputadors.

En un Massively Parallell Processor (MPP), els processadors poden accedir a el sistema d'arxius Lluïssor redirigint les seves peticions I / O cap al node amb el servei llançador de tasques si està configurat com un client Llustre.

Encara que és el mètode més senzill, en general proporciona un baix rendiment. Una manera lleugerament més complicada de proporcionar un rendiment global molt bo consisteix a utilitzar la biblioteca liblustre.

Liblustre és una biblioteca de nivell d'usuari que permet als processadors muntar i utilitzar el sistema d'arxius Lustri com un client, sortejant la redirecció cap al node de servei.

candelera

Utilitzant liblustre, els processadors poden accedir a el sistema d'arxius Lluïssor, encara que el node de servei en el qual es va llançar el treball no és un client Llustre.

Liblustre proporciona un mecanisme per moure dades directament entre l'espai d'aplicació i els OSSs de Llustre sense necessitat de realitzar una còpia de dades a través del nucli lleuger, aconseguint així una baixa latència, i gran ample de banda en l'accés directe dels processadors a el sistema d'arxius Lluïssor.

Nova versió de Llustre

Recentment es va llançar una nova versió de Llustre 2.12 amb la qual s'afegeixen algunes noves funcions i sobretot correccions d'errors per a alguns de les diverses distribucions de Linux que són utilitzades per els superordinadors.

Principals novetats de Llustre 2.12

Amb aquest nou llançament s'agrega la funció d'espaiar grans directoris existents d'espai de noms distribuït (DNE, espai de noms distribuït) d'un objecte d'emmagatzematge de metadades (MDT, objectius de metadades) a diversos (espaiat de diferents segments DNE per diferents MDT).

La nova característica simplifica la introducció de nous MDT per als FS existents i el reequilibri manual de la càrrega en MDT.

Per als repositoris de metadades (MDT), s'implementa la manera »Lazy Size«, que li permet tornar ràpidament la mida aproximat en lloc de la mida exacta dels arxius a l'escanejar directament MDT a través del motor de polítiques en situacions on la velocitat és més important que la precisió.

Per a les configuracions amb múltiples interfícies de xarxa LNet, en aquesta nova versió de Llustre 2.12 s'agrega la funció «LNet Network Health», que implementa l'opció de tornar a accedir a RPC a través d'una altra interfície de xarxa en cas de falla la primera vegada que s'envia una sol·licitud.

A més d'això es va agregar suport de servidor per a les versions de RHEL 7.6 (3.10.0-957.el7) i SLES12 SP3 (4.4.162-94.69). Es va agregar suport de client per a nuclis RHEL 7.6 (3.10.0-957.el7) no parcheados, SLES12 SP3 (4.4.162-94.69) i Ubuntu 18.04 (4.15.0-32).


Deixa el teu comentari

La seva adreça de correu electrònic no es publicarà. Els camps obligatoris estan marcats amb *

*

*

  1. Responsable de les dades: AB Internet Networks 2008 SL
  2. Finalitat de les dades: Controlar l'SPAM, gestió de comentaris.
  3. Legitimació: El teu consentiment
  4. Comunicació de les dades: No es comunicaran les dades a tercers excepte per obligació legal.
  5. Emmagatzematge de les dades: Base de dades allotjada en Occentus Networks (UE)
  6. Drets: En qualsevol moment pots limitar, recuperar i esborrar la teva informació.