Burst Buffers, sarà una delle nuove funzionalità di Reiser5

Diversi mesi fa ne abbiamo parlato qui sul blog Viaggio5, che è un filesystem mantenuto da Edward Shishkin e quale si distingue per l'inclusione dell'innovazione nella scalabilità parallela, che viene eseguito non a livello di blocco, ma attraverso il filesystem.

Reiser5 è una versione sostanzialmente rivista del file system ReiserFS, in cui è implementato il supporto per volumi logici scalabili paralleli, consentendo una distribuzione efficiente dei dati su un volume logico.

Ora, in notizie più recenti, Eduard Shishkin ha annunciato nuove funzionalità che vengono sviluppate come parte del progetto Reiser5.

Di recenti innovazioni, È stato osservato che l'utente può aggiungere un piccolo dispositivo a blocchi ad alte prestazioni (es. NVRAM), chiamato disco proxy, a un volume logico relativamente grande costituito da dischi a basso budget. Ciò darà l'impressione che l'intero volume sia costituito dagli stessi dispositivi ad alte prestazioni del "disco proxy".

Il metodo implementato si è basato su una semplice osservazione che, in pratica, la scrittura su un disco non viene eseguita costantemente e la curva Carico I / O Ha una forma a becco. Nell'intervallo tra questi "picchi", c'è sempre l'opportunità di scaricare i dati da un disco proxy sovrascrivendo tutti i dati (o solo una parte di essi) sulla memoria principale "lenta" in background. Pertanto, l'unità proxy è sempre pronta a ricevere un nuovo dato.

Inizialmente, questa tecnica (noto come Burst Buffers) è nato nel campo del calcolo ad alte prestazioni (HPC). Ma si è scoperto che richiedeva anche applicazioni ordinarie, in particolare quelle che richiedono elevate esigenze di integrità dei dati (di solito si tratta di un diverso tipo di database). Queste modifiche vengono apportate atomicamente da qualsiasi applicazione in qualsiasi file, vale a dire:

• Prima viene creato un nuovo file contenente i dati modificati;
• Quindi questo nuovo file viene scritto su disco usando fsync (2);
• Successivamente, il nuovo file viene rinominato in quello vecchio, che libera automaticamente i blocchi occupati dai vecchi dati.

Tutti questi passaggi, in un modo o nell'altro, causano una significativa riduzione delle prestazioni su qualsiasi file system. La situazione migliora se il nuovo file viene prima scritto su un dispositivo ad alte prestazioni dedicato, che è esattamente ciò che accade nel file system Burst Buffers.

In Reiser5, si prevede di inviare opzionalmente non solo nuovi blocchi logicis dal file al disco proxy, ma anche tutte le pagine sporche in generale. Inoltre, non solo le pagine con dati, ma anche con metadati, che vengono registrati nei passaggi (2) e (3).

I dischi proxy sono supportati nel contesto del lavoro regolare con i volumi logici Reiser5 ha annunciato all'inizio dell'anno. Ovvero, il sistema aggregato "disco proxy - memoria primaria" è un volume logico ordinario, con l'unica differenza che il disco proxy ha la precedenza sugli altri componenti del volume nella politica di indirizzamento del disco.

L'aggiunta di un disco proxy a un volume logico non è accompagnata da alcun ribilanciamento dei dati e la sua rimozione avviene allo stesso modo della rimozione di un disco normale. Tutte le operazioni del disco proxy sono atomiche.

Dopo aver aggiunto un disco proxy, la capacità totale del volume logico aumenta della capacità di questo disco.

Il disco proxy deve essere pulito periodicamente, ovvero scaricare i dati da esso nella memoria principale. Dopo aver raggiunto la stabilità beta di Reiser5, si prevede di rendere la pulizia automatica (sarà gestita da uno speciale thread core). In questa fase, la responsabilità della pulizia è dell'utente.

Se non c'è spazio libero sul disco proxy, tutti i dati vengono scritti automaticamente nella memoria principale. Allo stesso tempo, le prestazioni complessive dell'FS sono ridotte per impostazione predefinita (a causa del costante richiamo della procedura di conferma di tutte le transazioni disponibili).

fonte: https://marc.info