Lustro È un file system distribuito Open Source, normalmente utilizzato in cluster su larga scala. Il nome è un mix di Linux e cluster.
El proyecto tenta di fornire un file system per cluster di decine di migliaia di nodi con petabyte di capacità di archiviazione, senza compromettere la velocità o la sicurezza, ed è disponibile con GNU GPL.
Cluster File System sono i progettisti, sviluppatori e manutentori di Lustre con il contributo di altre società e individui.
A proposito di Lustre
Molti dei supercomputer più veloci al mondo sono cluster che utilizzano il file system Lustre per l'archiviazione, come i sistemi in ORNL, PNNL, LLNL e LANL.
Questo sistema considera ogni file memorizzato nel file system Lustre un oggetto. Lustre introduce tutti i clienti alla semantica POSIX standard e all'accesso simultaneo in lettura e scrittura per gli oggetti condivisi. Un file system Lustre ha quattro unità funzionali.
Questi sono Meta data server (MDS) per memorizzare i metadati; un Object storage target (OST) per salvare i dati effettivi; un Object storage server (OSS) per gestire le OST; cliente / i per accedere e utilizzare i dati.
Gli OST sono dispositivi a blocchi. Un MDS, un OSS e un OST possono risiedere sullo stesso nodo o su nodi diversi.
Lustre non gestisce direttamente gli OST e delega questa responsabilità agli OSS per garantire la scalabilità per cluster e supercomputer di grandi dimensioni.
In un Massively Parallell Processor (MPP), i processori possono accedere al file system Lustre reindirizzando le loro richieste di I / O al nodo con il servizio di avvio attività se è configurato come client Lustre.
Sebbene sia il metodo più semplice, generalmente fornisce prestazioni scadenti. Un modo leggermente più complicato per fornire prestazioni complessive molto buone è usare la libreria libluster.
Libluster è una libreria a livello utente che consente ai processori di montare e utilizzare il file system Luster come client, bypassando il reindirizzamento al nodo del servizio.
Utilizzando libluster, i processori possono accedere al file system Lustre, anche se il nodo del servizio su cui è stato avviato il lavoro non è un client Lustre.
Libluster fornisce un meccanismo per spostare i dati direttamente tra lo spazio dell'applicazione e gli OSS Lustre senza la necessità di copiare i dati attraverso il core leggero, ottenendo così una bassa latenza e un'elevata larghezza di banda nell'accesso diretto ai processori al file system Lustre.
Nuova versione di Lustre
Recentemente è stata rilasciata una nuova versione di Lustre 2.12 con la quale sono state aggiunte alcune nuove funzionalità e soprattutto correzioni di bug per alcune delle varie distribuzioni Linux utilizzate per i supercomputer.
Principali novità di Lustre 2.12
Con questa nuova versione aggiunta la funzione di spaziare le directory di grandi dimensioni esistenti dello spazio dei nomi distribuito (DNE, Distributed Namespace) da un oggetto di archiviazione dei metadati (DTM, destinazioni dei metadati) a molti (spaziando diversi segmenti DNE da diversi DTM).
La nuova funzionalità semplifica l'introduzione di nuovi MDT per gli FS esistenti e il ribilanciamento manuale del carico in MDT.
Per i repository di metadati (MDT), è implementata la modalità "Lazy Size", che consente di restituire rapidamente la dimensione approssimativa anziché la dimensione esatta dei file durante la scansione diretta di MDT attraverso il motore dei criteri in situazioni in cui la velocità è più importante di precisione.
Per le configurazioni con più interfacce di rete LNet, in questa nuova versione di Lustre 2.12 viene aggiunta la funzione «LNet Network Health», che implementa l'opzione per accedere nuovamente a RPC tramite un'altra interfaccia di rete in caso di errore la prima volta che viene inviata una richiesta.
In aggiunta a ciò, è stato aggiunto il supporto del server per le versioni di RHEL 7.6 (3.10.0-957.el7) e SLES12 SP3 (4.4.162-94.69). Aggiunto supporto client per kernel RHEL 7.6 (3.10.0-957.el7) senza patch, SLES12 SP3 (4.4.162-94.69) e Ubuntu 18.04 (4.15.0-32).