Burst Buffers,將是Reiser5的新特性之一

幾個月前,我們在博客上討論過 旅遊5,其中 是一個文件系統 由愛德華希甚金維護,其中 因並行擴展中的創新而脫穎而出, 這不是在塊級別執行的,而是通過文件系統執行的。

Reiser5是ReiserFS文件系統的大幅修訂版本,其中實現了對並行可擴展邏輯卷的支持, 允許跨邏輯卷有效地分配數據。

現在,在最近的新聞中,Eduard Shishkin 宣布了作為 Reiser5 項目一部分正在開發的新功能。

在最近的創新中, 據觀察,用戶可以添加高性能的小塊設備 (例如,NVRAM),稱為代理磁盤,到由低預算磁盤組成的相對較大的邏輯卷。 這會給人這樣的印象:整個卷是由與“代理磁盤”相同的高性能設備組成的。

所實施的方法基於簡單的觀察 在實踐中, 寫入磁盤不會持續執行,並且曲線 輸入輸出負載 它有一個喙形狀。 在此類“峰值”之間的間隔中,總是有機會通過覆蓋後台“慢”主存儲上的全部(或僅部分)數據來從代理磁盤轉儲數據。 因此,代理單元總是準備好接收新的數據。

最初,這種技術 (稱為突發緩衝區) 起源於高性能計算領域 (高性能計算)。 但事實證明,它也需要普通的應用程序,尤其是那些對數據完整性有很高要求的應用程序(通常這是一種不同類型的數據庫)。 任何應用程序都會對任何文件自動進行此類更改,即:

  • 首先創建一個包含更改數據的新文件;
  • 然後使用 fsync(2) 將這個新文件寫入磁盤;
  • 之後,新文件被重命名為舊文件,這會自動釋放舊數據佔用的塊。

所有這些步驟都會在一定程度上導致任何文件系統的性能顯著下降。 如果新文件首先寫入高性能專用設備,情況會有所改善, 這正是 Burst Buffers 文件系統中發生的情況。

在Reiser5中,計劃不僅選擇性地發送新的邏輯塊s 從文件到代理磁盤, 而且還包括一般的所有臟頁。 此外,不僅包含數據的頁面,還包含步驟(2)和(3)中記錄的元數據。

在常規使用邏輯卷的情況下支持代理磁盤 Reiser5 在今年早些時候宣布。 也就是說,聚合系統“代理磁盤-主存儲”是一個普通的邏輯卷,唯一的區別是代理磁盤在磁盤尋址策略中優先於其他卷組件。

將代理磁盤添加到邏輯卷不會伴隨任何數據重新平衡,並且刪除代理磁盤的方式與刪除普通磁盤相同。 所有代理磁盤操作都是原子的。

添加代理磁盤後,邏輯卷的總容量將增加該磁盤的容量.

應定期清理代理磁盤,即將數據從代理磁盤轉儲到主存儲。 在達到 Reiser5 beta 穩定性後,計劃自動進行清理(將由特殊的內核線程處理)。 在此階段,清潔的責任落在用戶身上。

如果代理磁盤上沒有可用空間,所有數據將自動寫入主存儲。 同時默認降低FS的整體性能 (由於對所有可用事務不斷調用提交過程)。

來源: https://marc.info


發表您的評論

您的電子郵件地址將不會被發表。 必填字段標有 *

*

*

  1. 負責資料:AB Internet Networks 2008 SL
  2. 數據用途:控制垃圾郵件,註釋管理。
  3. 合法性:您的同意
  4. 數據通訊:除非有法律義務,否則不會將數據傳達給第三方。
  5. 數據存儲:Occentus Networks(EU)託管的數據庫
  6. 權利:您可以隨時限制,恢復和刪除您的信息。

  1.   路易士 他說:

    我不知道 ReiserFS 在 Hans 所做的事情導致中斷之後仍然處於活動狀態,

    1.    大衛·納蘭霍 他說:

      它一直保持沉默,但開發仍在繼續。