Burst Buffers, serà una de les noves característiques de Reiser5

Ja fa diversos mesos vam parlar aquí al blog sobre Reiser5, El qual és un sistema d'arxius mantingut per Edward Shishkin i el qual es destaca per incloure la innovació en l'escalat paral·lel, que es porta a terme no a nivell de bloc, sinó a través de el sistema d'arxius.

Reiser5 és una versió substancialment revisada de sistema d'arxius ReiserFS, en la qual s'implementa el suport per a volums lògics escalables paral·lels, el que permet una distribució eficient de dades a través d'un volum lògic.

Ara, en notícies mes recents, Eduard Shishkin va anunciar noves característiques que s'estan desenvolupant com a part de el projecte Reiser5.

De les innovacions recents, s'ha observat que l'usuari pot afegir un petit dispositiu de bloc d'alt rendiment (Per exemple, NVRAM), anomenat disc intermediari, a un volum lògic relativament gran compost per discos de baix pressupost. Això donarà la impressió que tot el volum està compost pels mateixos dispositius d'alt rendiment que el «disc proxy».

El mètode implementat es va basar en una simple observació que, a la pràctica, l'escriptura en un disc no es realitza constantment i la corba de càrrega d'E / S té una forma de bec. En l'interval entre tals «pics», sempre hi ha l'oportunitat de bolcar dades d'un disc intermediari sobreescrivint totes les dades (o només una part) en l'emmagatzematge principal "greu" en segon pla. Per tant, la unitat proxy sempre està a punt per rebre una nova peça de dades.

Inicialment, aquesta tècnica (Coneguda com Burst Buffers) es va originar en el camp de la informàtica d'alt rendiment (HPC). Però va resultar ser que també demandava aplicacions ordinàries, especialment per a aquelles que imposen altes exigències a la integritat de les dades (en general, aquest és un tipus diferent de base de dades). Aquests canvis es realitzen atòmicament per qualsevol aplicació en qualsevol arxiu, a saber:

• Primer es crea un nou arxiu que conté les dades modificades;
• Llavors aquest nou arxiu s'escriu en el disc usant fsync (2);
• Després d'això, el nou arxiu canvia de nom a l'antic, el que allibera automàticament els blocs ocupats per dades antigues.

Tots aquests passos, en un grau o un altre, causen una disminució significativa en el rendiment en qualsevol sistema d'arxius. La situació millora si el nou arxiu s'escriu primer en un dispositiu dedicat d'alt rendiment, que és exactament el que succeeix en el sistema d'arxius Burst Buffers.

En Reiser5, està previst enviar opcionalment no només nous blocs lògics de l'arxiu a el disc intermediari, sinó també totes les pàgines brutes en general. A més, no només pàgines amb dades, sinó també amb metadades, que es registren en els passos (2) i (3).

Els discos proxy són compatibles en el context de la feina regular amb els volums lògics Reiser5 anunciats a principis d'any. És a dir, el sistema agregat «disc intermediari - emmagatzematge primari» és un volum lògic ordinari, amb l'única diferència que el disc proxy té prioritat sobre altres components de l'volum en la política d'assignació d'adreces de disc.

Afegir un disc intermediari a un volum lògic no va acompanyat de cap reequilibri de dades, i la seva eliminació es produeix de la mateixa manera que l'eliminació d'un disc normal. Totes les operacions de disc intermediari són atòmiques.

Després d'afegir un disc intermediari, la capacitat total de l'volum lògic augmenta en la capacitat d'aquest disc.

El disc intermediari ha de netejar-se periòdicament, és a dir bolcar dades d'ell a l'emmagatzematge principal. Després d'aconseguir l'estabilitat beta de Reiser5, es planeja fer que la neteja sigui automàtica (estarà a càrrec d'un fil especial de l'nucli). En aquesta etapa, la responsabilitat de la neteja recau en l'usuari.

Si no hi ha espai lliure al disc intermediari, totes les dades s'escriuen automàticament en l'emmagatzematge principal. A el mateix temps, el rendiment general de l'FS es redueix per defecte (A causa de la invocació constant de procediment de confirmació de totes les transaccions disponibles).

font: https://marc.info