glans Het is een open source gedistribueerd bestandssysteem, normaal gebruikt in grootschalige clusters. De naam is een mix van Linux en clusters.
El proyecto probeert een bestandssysteem te bieden voor clusters van tienduizenden knooppunten met petabytes aan opslagcapaciteit, zonder concessies te doen aan snelheid of veiligheid, en is beschikbaar onder de GNU GPL.
Cluster File Systems zijn de ontwerpers, ontwikkelaars en beheerders van Luster met bijdragen van andere bedrijven en individuen.
Over glans
Veel van de snelste supercomputers ter wereld zijn clusters die het Luster-bestandssysteem gebruiken als opslag, zoals systemen in ORNL, PNNL, LLNL en LANL.
Dit systeem beschouwt elk bestand dat is opgeslagen in het Luster-bestandssysteem als een object. Luster introduceert alle clients in de standaard POSIX-semantiek en gelijktijdige lees- en schrijftoegang voor gedeelde objecten. Een Luster-bestandssysteem heeft vier functionele eenheden.
Dit zijn Meta data server (MDS) om de metadata op te slaan; een Object Storage Target (OST) om de feitelijke gegevens op te slaan; een Object Storage Server (OSS) om de OST's te beheren; klant (en) om toegang te krijgen tot en gebruik te maken van de gegevens.
OST's zijn blokapparaten. Een MDS, OSS en een OST kunnen zich op hetzelfde knooppunt of op verschillende knooppunten bevinden.
Luster beheert de OST's niet rechtstreeks en delegeert deze verantwoordelijkheid aan de OSS'en om schaalbaarheid voor grote clusters en supercomputers te waarborgen.
In een Massively Parallell Processor (MPP) hebben processors toegang tot het Luster-bestandssysteem door hun I / O-verzoeken om te leiden naar het knooppunt met de task launcher-service als deze is geconfigureerd als een Luster-client.
Hoewel dit de eenvoudigste methode is, levert deze over het algemeen slechte prestaties op. Een iets meer gecompliceerde manier om zeer goede algehele prestaties te leveren, is door de libluster-bibliotheek te gebruiken.
Libluster is een bibliotheek op gebruikersniveau waarmee processors het Luster-bestandssysteem als een client kunnen koppelen en gebruiken, waarbij omleiding naar het serviceknooppunt wordt omzeild.
Met behulp van libluster hebben processors toegang tot het Luster-bestandssysteem, zelfs als het serviceknooppunt waarop de taak is gestart geen Luster-client is.
Libluster biedt een mechanisme om gegevens rechtstreeks tussen de toepassingsruimte en de Luster OSS'en te verplaatsen zonder de noodzaak om een gegevenskopie te maken via de lichtgewicht kern, waardoor een lage latentie en een hoge bandbreedte wordt bereikt bij de directe toegang van de processors tot het Luster-bestandssysteem.
Nieuwe versie van Luster
Onlangs er is een nieuwe versie van Luster 2.12 uitgekomen waarmee enkele nieuwe functies en vooral bugfixes zijn toegevoegd voor enkele van de verschillende Linux-distributies die worden gebruikt voor supercomputers.
Belangrijkste nieuwe kenmerken van Luster 2.12
Met deze nieuwe release de functie toegevoegd van het uit elkaar plaatsen van bestaande grote mappen met gedistribueerde naamruimte (DNE, Distributed Namespace) van één metadata-opslagobject (DTM, metadata-doelen) naar veel (verschillende DNE-segmenten uit elkaar plaatsen door verschillende DTM's).
De nieuwe functie vereenvoudigt de introductie van nieuwe MDT's voor bestaande FS's en het handmatig opnieuw in evenwicht brengen van de belasting in MDT.
Voor metadata-repositories (MDT) is de »Lazy Size« -modus geïmplementeerd, waarmee u snel de geschatte grootte kunt retourneren in plaats van de exacte grootte van de bestanden wanneer u MDT rechtstreeks scant via de beleidsengine in situaties waarin de snelheid belangrijker is dan precisie.
Voor configuraties met meerdere LNet-netwerkinterfaces, in deze nieuwe versie van Luster 2.12 de functie «LNet Network Health» is toegevoegd, die de optie implementeert om opnieuw toegang te krijgen tot RPC via een andere netwerkinterface in geval van een fout bij de eerste keer dat een verzoek wordt verzonden.
Daarnaast is serverondersteuning toegevoegd voor versies van RHEL 7.6 (3.10.0-957.el7) en SLES12 SP3 (4.4.162-94.69). Klantondersteuning toegevoegd voor niet-gepatchte RHEL 7.6 (3.10.0-957.el7), SLES12 SP3 (4.4.162-94.69) en Ubuntu 18.04 (4.15.0-32) kernels.