Lustre,集群和超级计算机中使用的文件系统之一

光泽徽标

光泽 它是一个开源的分布式文件系统, 通常 用于大型集群。 该名称是Linux和群集的组合。

萨尔瓦多PROYECTO 尝试为具有数PB的存储容量的成千上万个节点的群集提供文件系统,而不会影响速度或安全性,并且可以在GNU GPL下使用。

群集文件系统是Luster的设计人员,开发人员和维护人员,并来自其他公司和个人。

关于光泽

世界上许多最快的超级计算机都是使用Lustre文件系统作为存储的集群,例如ORNL,PNNL,LLNL和LANL中的系统。

该系统将存储在Lustre文件系统中的每个文件都视为一个对象。 Luster向所有客户端介绍了标准POSIX语义以及对共享对象的并发读写访问。 Lustre文件系统具有四个功能单元。

这些是元数据服务器(MDS),用于存储元数据; 对象存储目标(OST),用于保存实际数据; 对象存储服务器(OSS)来管理OST; 客户访问和使用数据。

OST是块设备。 MDS,OSS和OST可以位于同一节点或不同节点上.

Luster并不直接管理OST,而是将此职责委托给OSS,以确保大型集群和超级计算机的可伸缩性。

在大规模并行处理器(MPP)中,如果将任务启动器服务配置为Luster客户端,则处理器可以通过将其I / O请求重定向到该节点来访问Lustre文件系统。

尽管这是最简单的方法,但通常会提供较差的性能。 提供非常好的整体性能的稍微复杂一点的方法是使用libluster库。

Libluster是一个用户级库,它允许处理器安装并使用Luster文件系统作为客户端,从而绕过重定向到服务节点的过程。

光泽

使用libluster,即使启动了作业的服务节点不是Luster客户端,处理器也可以访问Luster文件系统。

Libluster提供了一种在应用程序空间和Luster OSS之间直接移动数据的机制,而无需通过轻量级内核进行数据复制,从而在处理器直接访问Luster文件系统时实现了低延迟和高带宽。

新版本的Lustre

recientemente 发布了新版本的Luster 2.12,其中添加了一些新功能,并且最重要的是,已修复了一些错误。 用于超级计算机的各种Linux发行版。

Lustre 2.12的主要新功能

有了这个新版本 增加了对分布式命名空间的现有大目录进行间隔的功能 (DNE,分布式命名空间)从一个元数据存储对象(DTM,元数据目标)到多个(通过不同的DTM间隔不同的DNE段)。

新功能简化了现有FS的新MDT的引入以及MDT中负载的手动重新平衡。

对于元数据存储库(MDT),实现了“惰性大小”模式,当速度比速度更重要时,通过策略引擎直接扫描MDT时,它允许您快速返回近似大小,而不是文件的确切大小。精确。

对于具有多个LNet网络接口的配置,在此新版本的Luster 2.12中 添加了“ LNet网络运行状况”功能, 它实现了在第一次发送请求失败时通过另一个网络接口重新访问RPC的选项。

除此之外,还为以下版本的服务器添加了服务器支持 RHEL 7.6(3.10.0-957.el7)和SLES12 SP3(4.4.162-94.69)。 增加了对未打补丁的RHEL 7.6(3.10.0-957.el7),SLES12 SP3(4.4.162-94.69)和Ubuntu 18.04(4.15.0-32)内核的客户支持。


成为第一个发表评论

发表您的评论

您的电子邮件地址将不会被发表。 必填字段标有 *

*

*

  1. 负责资料:AB Internet Networks 2008 SL
  2. 数据用途:控制垃圾邮件,注释管理。
  3. 合法性:您的同意
  4. 数据通讯:除非有法律义务,否则不会将数据传达给第三方。
  5. 数据存储:Occentus Networks(EU)托管的数据库
  6. 权利:您可以随时限制,恢复和删除您的信息。