Burst Buffers, será um dos novos recursos do Reiser5

Vários meses atrás falamos aqui no blog sobre reiser5, Qual é um sistema de arquivos mantido por Edward Shishkin e que se destaca por incluir inovação em escala paralela, que não é executado no nível do bloco, mas através do sistema de arquivos.

Reiser5 é uma versão substancialmente revisada do sistema de arquivos ReiserFS, em que o suporte para volumes lógicos escalonáveis ​​paralelos é implementado, permitindo distribuição eficiente de dados em um volume lógico.

Agora, em notícias mais recentes, Eduard Shishkin anunciou novos recursos que estão sendo desenvolvidos como parte do projeto Reiser5.

Das inovações recentes, Foi observado que o usuário pode adicionar um pequeno dispositivo de bloco de alto desempenho (por exemplo, NVRAM), chamado de disco proxy, para um volume lógico relativamente grande composto de discos de baixo orçamento. Isso dará a impressão de que todo o volume é composto pelos mesmos dispositivos de alto desempenho que o 'disco proxy'.

O método implementado foi baseado em uma simples observação que, na prática, a gravação em um disco não é realizada constantemente e a curva Carga de I / O Tem a forma de bico. No intervalo entre esses "picos", sempre há a oportunidade de despejar dados de um disco proxy sobrescrevendo todos os dados (ou apenas parte deles) no armazenamento principal "lento" em segundo plano. Portanto, a unidade proxy está sempre pronta para receber um novo dado.

Inicialmente, esta técnica (conhecido como Burst Buffers) originado no campo da computação de alto desempenho (HPC). Mas descobriu-se que ele também exigia aplicativos comuns, especialmente aqueles que colocam grandes demandas na integridade dos dados (geralmente é um tipo diferente de banco de dados). Essas alterações são feitas atomicamente por qualquer aplicativo em qualquer arquivo, a saber:

• Primeiro, um novo arquivo é criado contendo os dados modificados;
• Então, esse novo arquivo é gravado no disco usando fsync (2);
• Depois disso, o novo arquivo é renomeado para o antigo, o que libera automaticamente os blocos ocupados por dados antigos.

Todas essas etapas, em um grau ou outro, causam uma diminuição significativa no desempenho de qualquer sistema de arquivos. A situação melhora se o novo arquivo for primeiro gravado em um dispositivo dedicado de alto desempenho, que é exatamente o que acontece no sistema de arquivos Burst Buffers.

No Reiser5, está planejado o envio opcional não apenas de novos blocos lógicoss do arquivo para o disco proxy, mas também todas as páginas sujas em geral. Além disso, não apenas páginas com dados, mas também metadados, que são registrados nas etapas (2) e (3).

Os discos proxy são suportados no contexto de trabalho regular com volumes lógicos Reiser5 anunciado no início do ano. Em outras palavras, o sistema agregado "disco proxy - armazenamento primário" é um volume lógico comum, com a única diferença de que o disco proxy tem precedência sobre outros componentes do volume na política de endereçamento de disco.

A adição de um disco proxy a um volume lógico não é acompanhada por nenhum rebalanceamento de dados e sua remoção ocorre da mesma forma que a remoção de um disco normal. Todas as operações do disco proxy são atômicas.

Depois de adicionar um disco proxy, a capacidade total do volume lógico aumenta pela capacidade deste disco.

O disco proxy deve ser limpo periodicamente, ou seja, despejar os dados dele para o armazenamento principal. Depois de atingir a estabilidade beta do Reiser5, está planejado fazer a limpeza automática (ela será tratada por um thread de núcleo especial). Nesse estágio, a responsabilidade pela limpeza é do usuário.

Se não houver espaço livre no disco proxy, todos os dados serão gravados automaticamente no armazenamento principal. Ao mesmo tempo, o desempenho geral do FS é reduzido por padrão (devido à invocação constante do procedimento de confirmação de todas as transações disponíveis).

fonte: https://marc.info