Люстры Это распределенная файловая система с открытым исходным кодом, нормально используется в крупномасштабных кластерах. Название представляет собой смесь Linux и кластеров.
В рамках проекта пытается предоставить файловую систему для кластеров из десятков тысяч узлов с петабайтами емкости хранения, без ущерба для скорости или безопасности, и доступен под лицензией GNU GPL.
Кластерные файловые системы - это дизайнеры, разработчики и сопровождающие Lustre при участии других компаний и частных лиц.
О блеске
Многие из самых быстрых суперкомпьютеров в мире представляют собой кластеры, использующие файловую систему Lustre для хранения, например системы в ORNL, PNNL, LLNL и LANL.
Эта система рассматривает каждый файл, хранящийся в файловой системе Lustre, как объект. Lustre знакомит всех клиентов со стандартной семантикой POSIX и одновременным доступом на чтение и запись для общих объектов. Файловая система Lustre имеет четыре функциональных блока.
Это сервер метаданных (MDS) для хранения метаданных; целевое хранилище объектов (OST) для сохранения фактических данных; сервер хранилища объектов (OSS) для управления OST; клиент (ы) для доступа и использования данных.
OST - это блочные устройства. MDS, OSS и OST могут находиться на одном узле или на разных узлах..
Lustre не управляет OST напрямую и делегирует эту ответственность OSS, чтобы обеспечить масштабируемость для больших кластеров и суперкомпьютеров.
В процессоре Massively Parallell (MPP) процессоры могут получить доступ к файловой системе Lustre, перенаправляя свои запросы ввода-вывода на узел с помощью службы запуска задач, если он настроен как клиент Lustre.
Хотя это самый простой метод, он, как правило, дает низкую производительность. Несколько более сложный способ обеспечить очень хорошую общую производительность - использовать библиотеку libluster.
Libluster - это библиотека пользовательского уровня, которая позволяет процессорам монтировать и использовать файловую систему Lustre в качестве клиента, минуя перенаправление на сервисный узел.
Используя libluster, процессоры могут получить доступ к файловой системе Lustre, даже если сервисный узел, на котором было запущено задание, не является клиентом Lustre.
Libluster предоставляет механизм для перемещения данных непосредственно между пространством приложения и Lustre OSS без необходимости копировать данные через облегченное ядро, тем самым обеспечивая низкую задержку и высокую пропускную способность при прямом доступе к процессорам к файловой системе Lustre.
Новая версия Lustre
Недавно была выпущена новая версия Lustre 2.12, в которую были добавлены некоторые новые функции и, прежде всего, исправления ошибок для некоторых из различных дистрибутивов Linux, используемых для суперкомпьютеров.
Основные новинки Lustre 2.12
С этим новым выпуском добавлена функция разнесения существующих больших каталогов распределенного пространства имен (DNE, распределенное пространство имен) от одного объекта хранения метаданных (DTM, целевые объекты метаданных) до многих (разделение разных сегментов DNE разными DTM).
Новая функция упрощает внедрение новых MDT для существующих FS и ручную перебалансировку нагрузки в MDT.
Для репозиториев метаданных (MDT) реализован режим «Lazy Size», который позволяет быстро возвращать приблизительный размер вместо точного размера файлов при прямом сканировании MDT через механизм политики в ситуациях, когда скорость важнее, чем точность.
Для конфигураций с несколькими сетевыми интерфейсами LNet в этой новой версии Lustre 2.12 добавлена функция «LNet Network Health», который реализует возможность повторного доступа к RPC через другой сетевой интерфейс в случае сбоя при первой отправке запроса.
В дополнение к этому была добавлена поддержка серверов для версий RHEL 7.6 (3.10.0-957.el7) и SLES12 SP3 (4.4.162-94.69). Добавлена поддержка клиентов для ядер RHEL 7.6 (3.10.0-957.el7), SLES12 SP3 (4.4.162-94.69) и Ubuntu 18.04 (4.15.0-32) без исправлений.