Burst Buffers, ще бъде една от новите функции на Reiser5

Преди няколко месеца говорихме тук в блога за Райзер5който е файлова система поддържани от Едуард Шишкин и които се отличава с включване на иновации в паралелно мащабиране, което се извършва не на ниво блок, а чрез файловата система.

Reiser5 е съществено преработена версия на файловата система ReiserFS, в която е реализирана поддръжка за паралелни мащабируеми логически томове, позволявайки ефективно разпределение на данните в логически том.

Сега, в по-новите новини, Едуард Шишкин обяви нови функции, които се разработват като част от проекта Reiser5.

От последните иновации, Забелязано е, че потребителят може да добави малко високоефективно блоково устройство (напр. NVRAM), наречен прокси диск, към относително голям логически том, съставен от нискобюджетни дискове. Това ще създаде впечатлението, че целият том е съставен от същите високопроизводителни устройства като "прокси диска".

Внедреният метод се основава на просто наблюдение че на практика записването на диск не се извършва постоянно и кривата I / O товар Има клюновидна форма. В интервала между подобни „скокове“ винаги има възможност да се изхвърлят данни от прокси диск, като се презапишат всички данни (или само част от тях) на „бавното“ основно хранилище във фонов режим. Следователно прокси единицата винаги е готова да получи нова част от данните.

Първоначално тази техника (известен като Burst Buffers) възниква в областта на високопроизводителните изчисления (HPC). Но се оказа, че изисква и обикновени приложения, особено тези, които поставят високи изисквания към целостта на данните (това обикновено е различен вид база данни). Тези промени се извършват атомно от всяко приложение във всеки файл, а именно:

• Първо се създава нов файл, съдържащ модифицираните данни;
• След това този нов файл се записва на диск с помощта на fsync (2);
• След това новият файл се преименува на стария, който автоматично освобождава блоковете, заети от стари данни.

Всички тези стъпки, в една или друга степен, причиняват значително намаляване на производителността на всяка файлова система. Ситуацията се подобрява, ако новият файл се запише за първи път на специално високоефективно устройство което се случва точно във файловата система Burst Buffers.

В Reiser5 се планира по избор да се изпращат не само нови логически блоковеs от файл на прокси диск, но и всички мръсни страници като цяло. Също така, не само страници с данни, но и с метаданни, които се записват в стъпки (2) и (3).

Прокси дисковете се поддържат в контекста на редовна работа с логически томове Reiser5, обявен по-рано през годината. Тоест агрегираната система „прокси диск - първично хранилище“ е обикновен логически том, с единствената разлика, че прокси дискът има предимство пред другите компоненти на тома в политиката за адресиране на диска.

Добавянето на прокси диск към логически том не се придружава от никакво ребалансиране на данни и премахването му става по същия начин като премахването на нормален диск. Всички операции с прокси диск са атомни.

След добавяне на прокси диск, общият капацитет на логическия том се увеличава с капацитета на този диск.

Прокси дискът трябва да се почиства периодично, т.е. да се изхвърлят данни от него в основното хранилище. След достигане на Reiser5 бета стабилност се планира почистването да стане автоматично (то ще се обработва от специална основна нишка). На този етап отговорността за почистването е на потребителя.

Ако на прокси диска няма свободно място, всички данни автоматично се записват в основното хранилище. В същото време общата производителност на FS се намалява по подразбиране (поради постоянното извикване на процедурата за потвърждение на всички налични транзакции).

Fuente: https://marc.info