Lustre,集群和超級計算機中使用的文件系統之一

光澤標誌

光澤 它是一個開源的分佈式文件系統。 通常 用於大規模集群。 這個名字是 Linux 和 cluster 的混合體。

該項目 嘗試為數万個節點的集群提供PB級存儲容量的文件系統,不影響速度或安全性,並且可以在 GNU GPL 下使用。

Cluster File Systems 是 Lustre 的設計者、開發者和維護者,與其他公司和個人合作。

關於光澤

許多世界上最快的超級計算機都是使用 Lustre 文件系統進行存儲的集群,例如 ORNL、PNNL、LLNL 和 LANL 中的系統。

該系統將Lustre文件系統中存儲的每個文件視為一個對象。 Lustre 為所有客戶端提供標準 POSIX 語義以及對共享對象的並發讀寫訪問。 Lustre 文件系統有四個功能單元。

這些是元數據服務器(MDS),用於存儲元數據; 用於保存實際數據的對象存儲目標(OST); 用於管理 OST 的對象存儲服務器 (OSS); 客戶端訪問和使用數據。

OST 是塊設備。 MDS、OSS和OST可以位於同一節點,也可以位於不同節點。.

Lustre不直接管理OST,而是將這一責任委託給OSS,以確保大型集群和超級計算機的可擴展性。

在大規模並行處理器 (MPP) 中,如果配置為 Lustre 客戶端,處理器可以通過將其 I/O 請求重定向到具有任務啟動器服務的節點來訪問 Lustre 文件系統。

儘管這是最簡單的方法,但其性能通常較差。 提供非常好的整體性能的稍微複雜的方法是使用 liblustre 庫。

Liblustre 是一個用戶級庫,允許處理器作為客戶端掛載和使用 Lustre 文件系統,繞過重定向到服務節點。

吊燈

使用liblustre,處理器可以訪問Lustre文件系統,即使啟動作業的服務節點不是Lustre客戶端。

Liblustre提供了一種在應用程序空間和Lustre OSS之間直接移動數據的機制,無需通過輕量級內核執行數據複製,從而實現低延遲、高帶寬的處理器直接訪問Lustre文件系統。

新版本的光澤

recientemente Lustre 2.12新版本發布,增加了一些新功能,修復了一些bug 適用於超級計算機使用的一些不同的 Linux 發行版。

Lustre 2.12主要新特性

有了這個新版本 添加現有的大型分佈式命名空間目錄的間距 (DNE,分佈式命名空間)從一個元數據存儲對象(MDT,元數據目標)到多個元數據存儲對象(不同的 DNE 段由不同的 MDT 分隔)。

新功能簡化了為現有 FS 引入新 MDT 以及手動重新平衡 MDT 負載的過程。

對於元數據存儲庫(MDT),實現了“Lazy Size”模式,在速度比準確性更重要的情況下,通過策略引擎直接掃描MDT時,可以快速返回文件的近似大小,而不是確切的大小。

對於具有多個 LNet 網絡接口的配置,在新版本的 Lustre 2.12 中 新增“LNet網絡健康”功能, 它實現了在第一次發送請求失敗時通過另一個網絡接口重新訪問 RPC 的選項。

除此之外,還添加了對以下版本的服務器支持 RHEL 7.6 (3.10.0-957.el7) 和 SLES12 SP3 (4.4.162-94.69)。 添加了對未修補的 RHEL 7.6 (3.10.0-957.el7)、SLES12 SP3 (4.4.162-94.69) 和 Ubuntu 18.04 (4.15.0-32) 內核的客戶端支持。


發表您的評論

您的電子郵件地址將不會被發表。 必填字段標有 *

*

*

  1. 負責資料:AB Internet Networks 2008 SL
  2. 數據用途:控制垃圾郵件,註釋管理。
  3. 合法性:您的同意
  4. 數據通訊:除非有法律義務,否則不會將數據傳達給第三方。
  5. 數據存儲:Occentus Networks(EU)託管的數據庫
  6. 權利:您可以隨時限制,恢復和刪除您的信息。