光澤 它是一個開源的分佈式文件系統。 通常 用於大規模集群。 這個名字是 Linux 和 cluster 的混合體。
該項目 嘗試為數万個節點的集群提供PB級存儲容量的文件系統,不影響速度或安全性,並且可以在 GNU GPL 下使用。
Cluster File Systems 是 Lustre 的設計者、開發者和維護者,與其他公司和個人合作。
關於光澤
許多世界上最快的超級計算機都是使用 Lustre 文件系統進行存儲的集群,例如 ORNL、PNNL、LLNL 和 LANL 中的系統。
該系統將Lustre文件系統中存儲的每個文件視為一個對象。 Lustre 為所有客戶端提供標準 POSIX 語義以及對共享對象的並發讀寫訪問。 Lustre 文件系統有四個功能單元。
這些是元數據服務器(MDS),用於存儲元數據; 用於保存實際數據的對象存儲目標(OST); 用於管理 OST 的對象存儲服務器 (OSS); 客戶端訪問和使用數據。
OST 是塊設備。 MDS、OSS和OST可以位於同一節點,也可以位於不同節點。.
Lustre不直接管理OST,而是將這一責任委託給OSS,以確保大型集群和超級計算機的可擴展性。
在大規模並行處理器 (MPP) 中,如果配置為 Lustre 客戶端,處理器可以通過將其 I/O 請求重定向到具有任務啟動器服務的節點來訪問 Lustre 文件系統。
儘管這是最簡單的方法,但其性能通常較差。 提供非常好的整體性能的稍微複雜的方法是使用 liblustre 庫。
Liblustre 是一個用戶級庫,允許處理器作為客戶端掛載和使用 Lustre 文件系統,繞過重定向到服務節點。
使用liblustre,處理器可以訪問Lustre文件系統,即使啟動作業的服務節點不是Lustre客戶端。
Liblustre提供了一種在應用程序空間和Lustre OSS之間直接移動數據的機制,無需通過輕量級內核執行數據複製,從而實現低延遲、高帶寬的處理器直接訪問Lustre文件系統。
新版本的光澤
recientemente Lustre 2.12新版本發布,增加了一些新功能,修復了一些bug 適用於超級計算機使用的一些不同的 Linux 發行版。
Lustre 2.12主要新特性
有了這個新版本 添加現有的大型分佈式命名空間目錄的間距 (DNE,分佈式命名空間)從一個元數據存儲對象(MDT,元數據目標)到多個元數據存儲對象(不同的 DNE 段由不同的 MDT 分隔)。
新功能簡化了為現有 FS 引入新 MDT 以及手動重新平衡 MDT 負載的過程。
對於元數據存儲庫(MDT),實現了“Lazy Size”模式,在速度比準確性更重要的情況下,通過策略引擎直接掃描MDT時,可以快速返回文件的近似大小,而不是確切的大小。
對於具有多個 LNet 網絡接口的配置,在新版本的 Lustre 2.12 中 新增“LNet網絡健康”功能, 它實現了在第一次發送請求失敗時通過另一個網絡接口重新訪問 RPC 的選項。
除此之外,還添加了對以下版本的服務器支持 RHEL 7.6 (3.10.0-957.el7) 和 SLES12 SP3 (4.4.162-94.69)。 添加了對未修補的 RHEL 7.6 (3.10.0-957.el7)、SLES12 SP3 (4.4.162-94.69) 和 Ubuntu 18.04 (4.15.0-32) 內核的客戶端支持。