Brilho É um sistema de arquivos distribuído de código aberto, normalmente usado em clusters de grande escala. O nome é uma mistura de Linux e clusters.
O projeto tenta fornecer um sistema de arquivos para clusters de dezenas de milhares de nós com petabytes de capacidade de armazenamento, sem comprometer a velocidade ou segurança, e está disponível sob a GNU GPL.
Cluster File Systems são os designers, desenvolvedores e mantenedores do Lustre com contribuições de outras empresas e indivíduos.
Sobre o Lustre
Muitos dos supercomputadores mais rápidos do mundo são clusters que usam o sistema de arquivos Luster para armazenamento, como sistemas em ORNL, PNNL, LLNL e LANL.
Este sistema considera cada arquivo armazenado no sistema de arquivos do Lustre um objeto. O Lustre apresenta a todos os clientes a semântica POSIX padrão e acesso simultâneo de leitura e gravação para objetos compartilhados. Um sistema de arquivos Lustre possui quatro unidades funcionais.
Estes são Meta Data Server (MDS) para armazenar os metadados; um Object storage target (OST) para salvar os dados reais; um servidor de armazenamento de objetos (OSS) para gerenciar os OSTs; cliente (s) para acessar e usar os dados.
OSTs são dispositivos de bloco. Um MDS, OSS e um OST podem residir no mesmo nó ou em nós diferentes.
O Luster não gerencia diretamente os OSTs e delega essa responsabilidade aos OSSs para garantir a escalabilidade para grandes clusters e supercomputadores.
Em um Massively Parallell Processor (MPP), os processadores podem acessar o sistema de arquivos Lustre redirecionando suas solicitações de E / S para o nó com o serviço do iniciador de tarefas, se estiver configurado como um cliente Lustre.
Embora seja o método mais simples, geralmente oferece baixo desempenho. Uma maneira um pouco mais complicada de fornecer um desempenho geral muito bom é usar a biblioteca libluster.
Libluster é uma biblioteca de nível de usuário que permite que os processadores montem e usem o sistema de arquivos Lustre como um cliente, ignorando o redirecionamento para o nó de serviço.
Usando o Libluster, os processadores podem acessar o sistema de arquivos Lustre, mesmo se o nó de serviço no qual o trabalho foi iniciado não for um cliente Lustre.
O Libluster fornece um mecanismo para mover dados diretamente entre o espaço do aplicativo e os OSSs do Lustre sem a necessidade de copiar os dados através do núcleo leve, alcançando baixa latência e alta largura de banda no acesso direto aos processadores para o sistema de arquivos Lustre.
Nova versão do Lustre
Recentemente uma nova versão do Lustre 2.12 foi lançada com algumas novas funções e, acima de todas as correções de bugs, foram adicionadas para algumas das várias distribuições Linux que são usadas para supercomputadores.
Principais novidades do Lustre 2.12
Com este novo lançamento adicionou a função de espaçar os grandes diretórios existentes de namespace distribuído (DNE, Namespace distribuído) de um objeto de armazenamento de metadados (DTM, destinos de metadados) para muitos (espaçando diferentes segmentos DNE por diferentes DTMs).
O novo recurso simplifica a introdução de novos MDTs para FSs existentes e o rebalanceamento manual da carga em MDT.
Para repositórios de metadados (MDT), o modo »Lazy Size« é implementado, o que permite que você retorne rapidamente o tamanho aproximado em vez do tamanho exato dos arquivos ao verificar diretamente o MDT através do mecanismo de política em situações onde a velocidade é mais importante do que precisão.
Para configurações com várias interfaces de rede LNet, nesta nova versão do Lustre 2.12 a função «LNet Network Health» é adicionada, que implementa a opção de acessar novamente o RPC por meio de outra interface de rede em caso de falha na primeira vez que uma solicitação é enviada.
Além disso, o suporte do servidor foi adicionado para versões do RHEL 7.6 (3.10.0-957.el7) e SLES12 SP3 (4.4.162-94.69). Adicionado suporte de cliente para kernels RHEL 7.6 (3.10.0-957.el7), SLES12 SP3 (4.4.162-94.69) e Ubuntu 18.04 (4.15.0-32) sem patch.