Burst Buffers, Reiser5'in yeni özelliklerinden biri olacak

Birkaç ay önce burada blogda şöyle konuşmuştuk: reiser5hangi bir dosya sistemidir Edward Shishkin tarafından yapılmaktadır ve paralel ölçeklendirmeye yeniliği dahil etmesiyle öne çıkıyor, bu, blok düzeyinde değil, dosya sistemi aracılığıyla gerçekleştirilir.

Reiser5, paralel ölçeklenebilir mantıksal birimler için desteğin uygulandığı ReiserFS dosya sisteminin büyük ölçüde revize edilmiş bir sürümüdür. mantıksal bir hacimde verimli veri dağıtımına izin verir.

Şimdi, daha yakın tarihli haberlerde, Eduard Shishkin, Reiser5 projesinin bir parçası olarak geliştirilmekte olan yeni özellikleri duyurdu.

Son yeniliklerden, Kullanıcının küçük, yüksek performanslı bir blok cihaz ekleyebileceği gözlemlenmiştir. (örn. NVRAM), proxy disk olarak adlandırılan, düşük bütçeli disklerden oluşan nispeten büyük bir mantıksal hacme. Bu, tüm birimin 'proxy disk' ile aynı yüksek performanslı cihazlardan oluştuğu izlenimini verecektir.

Uygulanan yöntem basit bir gözleme dayanıyordu pratikte bir diske yazma sürekli yapılmaz ve eğri G / Ç yükü Gaga şeklindedir. Bu tür "ani artışlar" arasındaki aralıkta, arka planda "yavaş" ana depolamadaki tüm verilerin (veya yalnızca bir kısmının) üzerine yazarak bir proxy diskten verileri boşaltma fırsatı her zaman vardır. Bu nedenle, proxy birimi her zaman yeni bir veri parçası almaya hazırdır.

Başlangıçta bu teknik (Seri Tamponlar olarak bilinir) yüksek performanslı bilgi işlem alanında ortaya çıkmıştır (HPC). Ancak, özellikle veri bütünlüğüne yüksek talepler getiren sıradan uygulamaları da talep ettiği ortaya çıktı (bu genellikle farklı bir tür veritabanıdır). Bu değişiklikler, herhangi bir dosyadaki herhangi bir uygulama tarafından atomik olarak yapılır, yani:

• Önce değiştirilen verileri içeren yeni bir dosya oluşturulur;
• Daha sonra bu yeni dosya fsync (2) kullanılarak diske yazılır;
• Bundan sonra, yeni dosya, eski verilerin işgal ettiği blokları otomatik olarak serbest bırakan eski dosya olarak yeniden adlandırılır.

Bu adımların tümü, bir dereceye kadar, herhangi bir dosya sisteminde performansta önemli bir düşüşe neden olur. Yeni dosya ilk önce özel bir yüksek performanslı aygıta yazılırsa durum iyileşir, Burst Buffers dosya sisteminde olan tam olarak budur.

Reiser5'te isteğe bağlı olarak sadece yeni mantık bloklarının gönderilmesi planlanmamaktadır.s dosyadan proxy diske, aynı zamanda genel olarak tüm kirli sayfalar. Ayrıca, yalnızca veri içeren sayfalar değil, aynı zamanda (2) ve (3) adımlarında kaydedilen meta verilerle birlikte.

Proxy diskler, mantıksal birimlerle düzenli çalışma bağlamında desteklenir Reiser5 yılın başlarında duyurulmuştu. Başka bir deyişle, "proxy disk - birincil depolama" toplama sistemi, proxy diskin disk adresleme ilkesinde diğer birim bileşenlerine göre öncelikli olmasının tek farkı ile sıradan bir mantıksal birimdir.

Mantıksal bir birime proxy disk eklemeye herhangi bir veri yeniden dengeleme eşlik etmez ve kaldırılması, normal bir diskin çıkarılmasıyla aynı şekilde gerçekleşir. Tüm proxy disk işlemleri atomiktir.

Bir proxy disk ekledikten sonra, mantıksal birimin toplam kapasitesi bu diskin kapasitesi kadar artar..

Proxy diski periyodik olarak temizlenmelidir, yani verileri ondan ana depolamaya aktarmalıdır. Reiser5 beta stabilitesine ulaştıktan sonra temizliğin otomatik hale getirilmesi planlanıyor (özel bir göbek ipi ile işlenecek). Bu aşamada temizlik sorumluluğu kullanıcıya aittir.

Proxy diskte boş alan yoksa, tüm veriler otomatik olarak ana depolamaya yazılır. Aynı zamanda, FS'nin genel performansı varsayılan olarak azaltılır (mevcut tüm işlemlerin onay prosedürünün sürekli olarak başlatılması nedeniyle).

kaynak: https://marc.info