Burst Buffers, będzie jedną z nowych funkcji Reiser5

Kilka miesięcy temu rozmawialiśmy tutaj na blogu o Podróże5który jest systemem plików utrzymywany przez Edwarda Shishkina i który wyróżnia się włączaniem innowacji do równoległego skalowania, który jest wykonywany nie na poziomie bloku, ale poprzez system plików.

Reiser5 to znacznie poprawiona wersja systemu plików ReiserFS, w której zaimplementowano obsługę równoległych skalowalnych woluminów logicznych, umożliwiając wydajną dystrybucję danych w logicznej objętości.

Teraz, w nowszych wiadomościach, Eduard Shishkin ogłosił nowe funkcje, które są opracowywane w ramach projektu Reiser5.

Ostatnich innowacji, Zaobserwowano, że użytkownik może dodać małe urządzenie blokowe o wysokiej wydajności (np. NVRAM), nazywany dyskiem proxy, na stosunkowo duży wolumin logiczny złożony z dysków o niskim budżecie. Daje to wrażenie, że cały wolumen składa się z tych samych wydajnych urządzeń, co „dysk proxy”.

Zaimplementowana metoda opierała się na prostej obserwacji że w praktyce zapis na dysku nie jest wykonywany w sposób ciągły i krzywa Obciążenie we / wy Ma kształt dzioba. W przerwie między takimi „skokami” zawsze istnieje możliwość zrzucenia danych z dysku proxy poprzez nadpisanie wszystkich danych (lub tylko ich części) na „wolnej” pamięci głównej w tle. Dlatego jednostka proxy jest zawsze gotowa do odbioru nowego fragmentu danych.

Początkowo ta technika (znane jako Burst Buffers) powstały w dziedzinie obliczeń o wysokiej wydajności (HPC). Okazało się jednak, że wymagał również zwykłych aplikacji, zwłaszcza tych, które stawiają wysokie wymagania integralności danych (jest to zwykle inny rodzaj bazy danych). Te zmiany są wprowadzane atomowo przez dowolną aplikację w dowolnym pliku, a mianowicie:

• Najpierw tworzony jest nowy plik zawierający zmodyfikowane dane;
• Następnie ten nowy plik jest zapisywany na dysku przy użyciu fsync (2);
• Następnie nowy plik jest zmieniany na stary, co automatycznie zwalnia bloki zajmowane przez stare dane.

Wszystkie te kroki, w takim czy innym stopniu, powodują znaczny spadek wydajności w każdym systemie plików. Sytuacja poprawia się, jeśli nowy plik zostanie najpierw zapisany na dedykowanym urządzeniu o wysokiej wydajności, co jest dokładnie tym, co dzieje się w systemie plików Burst Buffers.

W Reiser5 planowane jest opcjonalne wysyłanie nie tylko nowych bloków logicznychs z pliku na dysk proxy, ale także ogólnie wszystkie brudne strony. Ponadto nie tylko strony z danymi, ale także z metadanymi, które są zapisywane w krokach (2) i (3).

Dyski proxy są obsługiwane w kontekście regularnej pracy z woluminami logicznymi Reiser5 ogłosił na początku roku. Oznacza to, że system zagregowany „dysk proxy - pamięć podstawowa” jest zwykłym woluminem logicznym, z tą jedyną różnicą, że dysk proxy ma pierwszeństwo przed innymi składnikami woluminu w zasadach adresowania dysków.

Dodaniu dysku proxy do woluminu logicznego nie towarzyszy żadne ponowne równoważenie danych, a jego usunięcie przebiega w taki sam sposób, jak usunięcie zwykłego dysku. Wszystkie operacje na dyskach proxy są atomowe.

Po dodaniu dysku proxy całkowita pojemność woluminu logicznego zwiększa się o pojemność tego dysku.

Dysk proxy powinien być okresowo czyszczony, czyli zrzucać z niego dane do pamięci głównej. Po osiągnięciu stabilności beta Reiser5 planowane jest automatyczne czyszczenie (będzie obsługiwane przez specjalny rdzeń nitki). Na tym etapie odpowiedzialność za czyszczenie spoczywa na użytkowniku.

Jeśli na dysku proxy nie ma wolnego miejsca, wszystkie dane są automatycznie zapisywane w pamięci głównej. Jednocześnie ogólna wydajność FS jest domyślnie zmniejszona (ze względu na ciągłe wywoływanie procedury potwierdzania wszystkich dostępnych transakcji).

źródło: https://marc.info