Burst Buffers станет одной из новых функций Reiser5.

Несколько месяцев назад мы говорили в блоге о Райзер5, Который это файловая система поддерживается Эдуардом Шишкиным и который выделяется тем, что включает инновации в параллельное масштабирование, который осуществляется не на уровне блоков, а через файловую систему.

Reiser5 - это существенно переработанная версия файловой системы ReiserFS, в которой реализована поддержка параллельных масштабируемых логических томов, позволяя эффективно распределять данные по логическому тому.

Теперь, в последних новостях, Эдуард Шишкин объявил о новых функциях, которые разрабатываются в рамках проекта Reiser5.

Из последних нововведений, Было замечено, что пользователь может добавить небольшое высокопроизводительное блочное устройство. (например, NVRAM), называемый прокси-диском, в относительно большой логический том, состоящий из малобюджетных дисков. Это создаст впечатление, что весь том состоит из тех же высокопроизводительных устройств, что и «прокси-диск».

Реализованный метод основан на простом наблюдении. что на практике запись на диск не происходит постоянно и кривая Нагрузка ввода / вывода Имеет форму клюва. В промежутке между такими «пиками» всегда есть возможность сбросить данные с прокси-диска, перезаписав все данные (или только их часть) на «медленном» основном хранилище в фоновом режиме. Следовательно, прокси-модуль всегда готов принять новый фрагмент данных.

Изначально эта техника (известные как Burst Buffers) зародился в области высокопроизводительных вычислений (HPC). Но оказалось, что для этого нужны и обычные приложения, особенно те, которые предъявляют высокие требования к целостности данных (обычно это базы данных другого типа). Эти изменения вносятся атомарно любым приложением в любом файле, а именно:

  • Сначала создается новый файл, содержащий измененные данные;
  • Затем этот новый файл записывается на диск с помощью fsync (2);
  • После этого новый файл переименовывается в старый, что автоматически освобождает блоки, занятые старыми данными.

Все эти шаги в той или иной степени приводят к значительному снижению производительности любой файловой системы. Ситуация улучшается, если новый файл сначала записывается на выделенное высокопроизводительное устройство, именно это и происходит в файловой системе Burst Buffers.

В Reiser5 по желанию планируется отправлять не только новые логические блоки.s из файла на прокси-диск, но и все грязные страницы в целом. Также не только страницы с данными, но и с метаданными, которые записываются на этапах (2) и (3).

Прокси-диски поддерживаются в контексте штатной работы с логическими томами. Reiser5 анонсирован ранее в этом году. Таким образом, совокупная система «прокси-диск - основное хранилище» представляет собой обычный логический том с той лишь разницей, что прокси-диск имеет приоритет над другими компонентами тома в политике адресации диска.

Добавление прокси-диска в логический том не сопровождается какой-либо перебалансировкой данных, и его удаление происходит так же, как удаление обычного диска. Все операции с прокси-диском атомарны.

После добавления прокси-диска общая емкость логического тома увеличивается на емкость этого диска..

Прокси-диск необходимо периодически очищать, то есть выгружать данные с него в оперативное хранилище. После достижения стабильности бета-версии Reiser5 планируется сделать очистку автоматической (она будет производиться специальным потоком ядра). На этом этапе ответственность за очистку ложится на пользователя.

Если на прокси-диске нет свободного места, все данные автоматически записываются в основное хранилище. При этом по умолчанию снижена общая производительность ФС. (из-за постоянного вызова процедуры подтверждения всех доступных транзакций).

источник: https://marc.info


2 комментариев, оставьте свой

Оставьте свой комментарий

Ваш электронный адрес не будет опубликован. Обязательные для заполнения поля помечены *

*

*

  1. Ответственный за данные: AB Internet Networks 2008 SL
  2. Назначение данных: контроль спама, управление комментариями.
  3. Легитимация: ваше согласие
  4. Передача данных: данные не будут переданы третьим лицам, кроме как по закону.
  5. Хранение данных: база данных, размещенная в Occentus Networks (ЕС)
  6. Права: в любое время вы можете ограничить, восстановить и удалить свою информацию.

  1.   Люкс сказал

    Я не знал, что ReiserFS все еще был активен после перерыва, вызванного тем, что было сделано Гансом,

    1.    Дэвид наранхо сказал

      Это замалчивается, но разработка продолжается.