Разработчики Arch Linux выпустили недавно через заявление о ваше намерение включить поддержка алгоритма сжатия зстд (включен с ноября 2017 года в ядро Linux 4.14) в диспетчере пакетов pacman.
Начиная с разработчиков Arch Linux провели сравнение различных алгоритмов сжатия, в конце концов они решили использовать zstd вместо алгоритма сжатия по умолчанию в devtools. Текущий метод сжатия - "xz-cz-", который является однопоточным и медленным, поэтому команда хочет заменить его более быстрым алгоритмом.
По сравнению с алгоритмом xz, использование zstd ускорит сжатие и распаковку пакетов (поскольку он предлагает большое окно поиска и быструю стадию энтропийного кодирования с использованием энтропии конечного состояния), поддержание уровня сжатия. В результате переход на zstd увеличит скорость установки пакетов.
Алгоритм сжатия zstd предлагает более быстрое сжатие и распаковку, сохраняя при этом степень сжатия, сравнимую с xz. Это ускорит установку пакета с помощью pacman без лишних хлопот. Они прокомментировали в заявлении Разработчики Arch Linux
Поддержка сжатия пакетов с использованием zstd, которые представляют интеграцию позже он появится в версии Pacman 5.2, но для установки таких пакетов потребуется версия zarchd libarchive.
Pacman - это менеджер пакетов Linux Arch Linux, он способен разрешать зависимости, а также автоматически загружать и устанавливать все необходимые пакеты. Теоретически пользователю достаточно выполнить всего одну команду, чтобы полностью обновить систему.
Pacman использует файлы, упакованные в tar, gzip или xz для всех пакетов, каждый из которых содержит скомпилированные двоичные файлы. Пакеты загружаются через FTP, вы также можете использовать HTTP и локальные файлы, в зависимости от того, как настроен каждый репозиторий. Соответствует системе сборки Linux Arch (ABS), используемой для создания пакетов из исходного кода.
О Zstandard
Zстандарт (зстд) был разработан для обеспечения степени сжатия, сопоставимой с алгоритмом DEFLATE, но быстрее, особенно для декомпрессии. Его можно отрегулировать, установив уровни сжатия от отрицательных 5 (самый быстрый) до 22 (самая низкая скорость сжатия, но наилучшая степень сжатия).
Пакет zstd включает параллельные реализации (многопоточное) сжатие и декомпрессия. Начиная с версии 1.3.2, zstd дополнительно реализует очень дальний поиск и дедупликацию, аналогичные rzip или lrzip.
Скорость сжатия может меняться в 20 раз. или больше между самым быстрым и самым медленным уровнями, в то время как декомпрессия выполняется равномерно быстро, разница менее чем на 20% между самым быстрым и самым медленным уровнями.
Zstd имеет максимальный уровень сжатия обеспечивает степень сжатия близкую к lzma, lzham и ppmx и работает лучше, чем lza или bzip2. Zstandard достигает нынешней границы Парето, поскольку распаковывается быстрее, чем любой другой доступный алгоритм в настоящее время с аналогичной или лучшей степенью сжатия.
Словари могут иметь большое влияние на степень сжатия небольших файлов, поэтому алгоритм Zstandard может использовать пользовательский словарь сжатия. Он также предлагает режим обучения, способный генерировать словарь из набора образцов.
В частности, словарь может быть загружен для обработки больших наборов файлов с избыточностью между файлами, но не обязательно внутри каждого файла, например файлов журнала.
Таким образом, перед началом распространения сжатых пакетов с помощью zstd в каналах Arch Linux lПользователи должны сначала установить libarchive как минимум версия 3.3.3-1 (пакет с этой версией был подготовлен год назад, поэтому, скорее всего, необходимая версия libarchive уже установлена).
Пакеты, сжатые с помощью zstd, будут поставляться с расширением «.pkg.tar.zst».