Luciu Este un sistem de fișiere distribuite Open Source, în mod normal utilizat în clustere la scară largă. Numele este un amestec de Linux și clustere.
Proiectul încearcă să furnizeze un sistem de fișiere pentru clustere de zeci de mii de noduri cu capacitate de stocare de petabytes, fără a compromite viteza sau securitatea și este disponibil sub GNU GPL.
Cluster File Systems sunt proiectanții, dezvoltatorii și întreținătorii Luster cu contribuții de la alte companii și persoane fizice.
Despre Lustre
Multe dintre cele mai rapide supercalculatoare din lume sunt clustere care folosesc sistemul de fișiere Luster pentru stocare, cum ar fi sistemele din ORNL, PNNL, LLNL și LANL.
Acest sistem consideră că fiecare fișier stocat în sistemul de fișiere Luster este un obiect. Luster introduce toți clienții la semantica POSIX standard și la accesul simultan de citire și scriere pentru obiecte partajate. Un sistem de fișiere Luster are patru unități funcționale.
Acestea sunt Meta Data Server (MDS) pentru stocarea metadatelor; o țintă de stocare a obiectelor (OST) pentru a salva datele reale; un server de stocare a obiectelor (OSS) pentru a gestiona OST-urile; clientul (clienții) pentru a accesa și utiliza datele.
OST-urile sunt dispozitive bloc. Un MDS, OSS și un OST pot locui pe același nod sau pe noduri diferite.
Luster nu gestionează direct OST-urile și delegă această responsabilitate OSS-urilor pentru a asigura scalabilitatea pentru clusterele și supercomputerele mari.
Într-un procesor masiv paralel (MPP), procesoarele pot accesa sistemul de fișiere Luster redirecționând solicitările de I / O către nod cu serviciul de lansare a sarcinilor, dacă acesta este configurat ca client Luster.
Deși este cea mai simplă metodă, oferă în general performanțe slabe. O modalitate puțin mai complicată de a oferi performanțe generale foarte bune este utilizarea bibliotecii libluster.
Libluster este o bibliotecă la nivel de utilizator care permite procesatorilor să monteze și să utilizeze sistemul de fișiere Luster ca client, ocolind redirecționarea către nodul de serviciu.
Folosind libluster, procesoarele pot accesa sistemul de fișiere Luster, chiar dacă nodul de serviciu pe care a fost lansat jobul nu este un client Luster.
Libluster oferă un mecanism pentru a muta datele direct între spațiul aplicației și OSS-urile Luster fără a fi nevoie să faceți o copie a datelor prin nucleul ușor, obținând astfel o latență scăzută și o lățime de bandă mare în accesul direct al procesoarelor la sistemul de fișiere Luster.
Noua versiune Luster
recent a fost lansată o nouă versiune a Luster 2.12 cu care au fost adăugate câteva funcții noi și mai ales remedieri de erori pentru unele dintre diferitele distribuții Linux care sunt utilizate pentru supercomputere.
Principalele noutăți ale Lustrei 2.12
Cu această nouă versiune se adaugă funcția de distanțare a directoarelor mari existente ale spațiului de nume distribuit (DNE, Spațiu de nume distribuit) de la un obiect de stocare a metadatelor (DTM, ținte de metadate) la multe (distanțarea diferitelor segmente DNE cu DTM diferite).
Noua caracteristică simplifică introducerea de noi MDT-uri pentru FS-uri existente și reechilibrarea manuală a sarcinii în MDT.
Pentru depozitele de metadate (MDT), este implementat modul „Dimensiune leneșă”, care vă permite să returnați rapid dimensiunea aproximativă mai degrabă decât dimensiunea exactă a fișierelor atunci când scanați direct MDT prin motorul de politici în situații în care viteza este mai importantă decât precizie.
Pentru configurații cu mai multe interfețe de rețea LNet, în această nouă versiune a Luster 2.12 se adaugă funcția „LNet Network Health”, care implementează opțiunea de a re-accesa RPC printr-o altă interfață de rețea în caz de eșec la prima trimitere a unei cereri.
În plus, a fost adăugat suport pentru server pentru versiunile de RHEL 7.6 (3.10.0-957.el7) și SLES12 SP3 (4.4.162-94.69). S-a adăugat asistență pentru clienți pentru nucleele RHEL 7.6 (3.10.0-957.el7), SLES12 SP3 (4.4.162-94.69) și Ubuntu 18.04 (4.15.0-32).