Глава 22. Файловая система Z (ZFS)

Чтобы создать простой, не избыточный пул, используя одно дисковое устройство:

Для просмотра нового пула ознакомьтесь с выводом команды df:

Этот вывод показывает создание и монтирование пула example, который теперь доступен как файловая система. Создайте файлы для пользователей, чтобы посмотреть, что все работает:

Этот пул пока не использует расширенные функции и свойства ZFS. Чтобы создать набор данных в этом пуле с включенным сжатием:

Набор данных example/compressed теперь представляет собой сжатую файловую систему ZFS. Попробуйте скопировать несколько больших файлов в /example/compressed.

Отключите сжатие с помощью:

Чтобы отмонтировать файловую систему, используйте zfs umount, а затем проверьте с помощью df:

Для повторного монтирования файловой системы, чтобы сделать её снова доступной, используйте zfs mount и проверьте с помощью df:

Выполнение команды mount отображает пул и файловые системы:

Используйте наборы данных ZFS как любую файловую систему после создания. Настраивайте другие доступные функции для каждого набора данных по мере необходимости. В примере ниже создается новая файловая система с именем data. Предполагается, что файловая система содержит важные файлы, и для нее настроено хранение двух копий каждого блока данных.

Используйте df для просмотра данных и использования пространства:

Обратите внимание, что все файловые системы в пуле имеют одинаковое доступное пространство. Использование df в этих примерах показывает, что файловые системы занимают столько места, сколько им нужно, и все используют один и тот же пул. ZFS устраняет такие понятия, как тома и разделы, и позволяет нескольким файловым системам совместно использовать один пул.

Чтобы уничтожить файловые системы, а затем пул, который больше не нужен:

Диски выходят из строя. Один из способов избежать потери данных при отказе диска — использование RAID. ZFS поддерживает эту возможность в своей конструкции пула. Пуллы RAID-Z требуют трёх или более дисков, но предоставляют больше полезного пространства, чем зеркальные пуллы.

В этом примере создается пул RAID-Z с указанием дисков для добавления в пул:

Предыдущий пример создал пул storage. В этом примере в этом пуле создаётся новая файловая система с именем home:

Включить сжатие и сохранить дополнительную копию каталогов и файлов:

Чтобы сделать это новым домашним каталогом для пользователей, скопируйте пользовательские данные в этот каталог и создайте соответствующие символические ссылки:

Данные пользователей теперь хранятся в только что созданном /storage/home. Проверьте это, добавив нового пользователя и войдя в систему под его учётной записью.

Создайте снимок файловой системы для последующего отката:

ZFS создает снимки набора данных, а не отдельного каталога или файла.

Символ @ является разделителем между именем файловой системы или именем тома. Перед удалением важного каталога создайте резервную копию файловой системы, а затем откатитесь к более раннему снимку, в котором каталог ещё существует:

Чтобы перечислить все доступные снимки, выполните команду ls в каталоге .zfs/snapshot файловой системы. Например, чтобы увидеть сделанный снимок:

Напишите скрипт для создания регулярных снимков пользовательских данных. Со временем снимки могут занимать много места на диске. Удалите предыдущий снимок с помощью команды:

После тестирования сделайте /storage/home настоящим /home с помощью следующей команды:

Выполните команды df и mount, чтобы убедиться, что система теперь распознает файловую систему как настоящий /home:

Настройка RAID-Z завершена. Для добавления ежедневных отчётов о состоянии созданных файловых систем в ночные запуски periodic(8) добавьте следующую строку в /etc/periodic.conf:

Каждый программный RAID имеет метод контроля своего состояния. Просмотр состояния устройств RAID-Z осуществляется с помощью:

Если все пулы находятся в состоянии онлайн и все работает нормально, сообщение будет следующим:

Если возникла проблема, например, диск находится в состоянии оффлайн, состояние пула будет выглядеть так:

"OFFLINE" показывает, что администратор перевел da1 в автономный режим с помощью:

Выключите компьютер и замените диск da1. Включите компьютер и верните da1 в пул:

Далее снова проверьте статус, на этот раз без -x, чтобы отобразить все пулы:

В этом примере все в порядке.

ZFS использует контрольные суммы для проверки целостности хранимых данных. Создание файловых систем автоматически включает их.

Проверка контрольных сумм данных (называемая scrubbing) обеспечивает целостность пула storage с помощью:

Продолжительность очистки зависит от объема хранимых данных. Большие объемы данных требуют пропорционально больше времени для проверки. Поскольку очистка интенсивно использует операции ввода-вывода, ZFS позволяет выполнять только одну очистку одновременно. После завершения очистки просмотрите статус с помощью zpool status:

Отображение даты завершения последней очистки помогает определить, когда начать следующую. Регулярная очистка защищает данные от тихих повреждений и гарантирует целостность пула.

См. zfs(8) и zpool(8) для других опций ZFS.

Создание пула хранения ZFS требует принятия постоянных решений, так как структура пула не может быть изменена после создания. Наиболее важное решение — это выбор типов vdev, в которые будут объединены физические диски. Подробнее о возможных вариантах см. в списке типов vdev. После создания пула большинство типов vdev не позволяют добавлять диски в vdev. Исключения составляют зеркала (mirror), которые позволяют добавлять новые диски в vdev, и страйпы (stripe), которые могут быть преобразованы в зеркала путём добавления нового диска к vdev. Хотя добавление новых vdev расширяет пул, компоновка пула не может быть изменена после его создания. Вместо этого необходимо создать резервную копию данных, удалить пул и воссоздать его.

Создание простого зеркального пула:

Чтобы создать более одного vdev одной командой, укажите группы дисков, разделенные ключевым словом типа vdev, в данном примере mirror:

Пулы также могут использовать разделы вместо целых дисков. Размещение ZFS в отдельном разделе позволяет одному диску иметь другие разделы для иных целей. В частности, это позволяет добавлять разделы с загрузочным кодом и файловыми системами, необходимыми для загрузки. Это дает возможность загружаться с дисков, которые также являются членами пула. ZFS не приводит к снижению производительности на FreeBSD при использовании раздела вместо целого диска. Использование разделов также позволяет администратору недоиспользовать диски, задействуя не всю их емкость. Если будущий заменяемый диск того же номинального размера, что и оригинальный, на самом деле имеет немного меньшую емкость, меньший раздел все равно поместится на заменяемом диске.

Создание пула RAID-Z2 с использованием разделов:

Уничтожьте пул, который больше не нужен, чтобы повторно использовать диски. Перед уничтожением пула необходимо размонтировать файловые системы в этом пуле. Если какой-либо набор данных используется, операция размонтирования завершится неудачей без уничтожения пула. Принудительное уничтожение пула выполняется с помощью -f. Это может привести к неопределённому поведению приложений, у которых были открыты файлы в этих наборах данных.

Существует два способа добавления дисков в пул: подключение диска к существующему vdev с помощью zpool attach или добавление vdev в пул с помощью zpool add. Некоторые типы vdev позволяют добавлять диски в vdev после его создания.

Пул, созданный с одним диском, не обладает избыточностью. Он может обнаружить повреждение данных, но не может его исправить, так как нет другой копии данных. Свойство Копии (copies) может восстановить данные после небольшого сбоя, например, повреждённого сектора, но не обеспечивает такой же уровень защиты, как зеркалирование или RAID-Z. Начиная с пула, состоящего из однодискового vdev, используйте zpool attach для добавления нового диска в vdev, создавая зеркало. Также используйте zpool attach для добавления новых дисков в зеркальную группу, увеличивая избыточность и производительность чтения. При разметке дисков, используемых для пула, повторите разметку первого диска на втором. Используйте gpart backup и gpart restore для упрощения этого процесса.

Обновите однодисковый vdev (stripe) ada0p3 до зеркала, присоединив ada1p3:

Если добавление дисков к существующему vdev невозможно, как в случае с RAID-Z, альтернативным методом является добавление другого vdev в пул. Добавление vdev повышает производительность за счет распределения записей между vdev. Каждый vdev обеспечивает свою собственную избыточность. Возможно смешивание типов vdev, таких как mirror и RAID-Z, но это не рекомендуется. Добавление не избыточного vdev к пулу, содержащему mirror или RAID-Z vdev, подвергает риску данные во всем пуле. Распределение записей означает, что отказ не избыточного диска приведет к потере части каждого блока, записанного в пул.

ZFS распределяет данные по всем vdev. Например, при использовании двух зеркальных vdev это фактически эквивалентно RAID 10, где записи распределяются по двум наборам зеркал. ZFS выделяет пространство таким образом, что каждый vdev достигает 100% заполненности одновременно. Наличие vdev с разным количеством свободного места снижает производительность, так как больше данных записывается на менее заполненный vdev.

При подключении новых устройств к загрузочному пулу не забудьте обновить загрузочный код.

Присоедините вторую группу зеркал (ada2p3 и ada3p3) к существующему зеркалу:

Удаление устройств vdev из пула невозможно, а удаление дисков из зеркала возможно только при сохранении достаточной избыточности. Если в группе зеркала остается единственный диск, эта группа перестает быть зеркалом и становится страйпом, что подвергает весь пул риску в случае выхода из строя оставшегося диска.

Удалить диск из трёхдисковой зеркальной группы:

Статус пула важен. Если диск отключается или ZFS обнаруживает ошибку чтения, записи или контрольной суммы, соответствующий счетчик ошибок увеличивается. Вывод команды status показывает конфигурацию и состояние каждого устройства в пуле, а также состояние всего пула. Также отображаются действия, которые следует предпринять, и детали последнего scrub.

При обнаружении ошибки ZFS увеличивает счетчики ошибок чтения, записи или контрольных сумм. Чтобы очистить сообщение об ошибке и сбросить счетчики, используйте команду zpool clear mypool. Сброс состояния ошибки может быть важен для автоматизированных скриптов, которые уведомляют администратора при возникновении ошибки в пуле. Без очистки старых ошибок скрипты могут не сообщать о новых ошибках.

Может потребоваться заменить один диск на другой. При замене рабочего диска процесс сохраняет старый диск в режиме онлайн во время замены. Пул никогда не переходит в состояние деградировавшего, что снижает риск потери данных. Выполнение команды zpool replace копирует данные со старого диска на новый. После завершения операции ZFS отключает старый диск от vdev. Если новый диск больше старого, можно расширить zpool, используя новое пространство. См. Расширение пула.

Заменить работающее устройство в пуле:

Когда диск в пуле выходит из строя, устройство vdev, к которому принадлежит этот диск, переходит в деградировавшее состояние. Данные остаются доступными, но с пониженной производительностью, поскольку ZFS вычисляет недостающие данные из доступной избыточности. Чтобы восстановить устройство vdev в полностью работоспособное состояние, замените вышедший из строя физический диск. Затем ZFS получает указание начать операцию восстановления. ZFS пересчитывает данные с вышедшего из строя устройства из доступной избыточности и записывает их на заменённый диск. После завершения процесса устройство vdev возвращается в состояние онлайн.

Если vdev не имеет избыточности или если устройства вышли из строя и недостаточно избыточности для компенсации, пул переходит в состояние faulted. Если недостаточно устройств для восстановления связи, пул становится неработоспособным, что требует восстановления данных из резервных копий.

При замене вышедшего из строя диска имя отказавшего диска изменяется на GUID нового диска. Новый параметр имени устройства для zpool replace не требуется, если заменяющее устройство имеет то же имя устройства.

Заменить вышедший из строя диск с помощью zpool replace:

Регулярно выполняйте scrub для пулов, желательно не реже одного раза в месяц. Операция scrub интенсивно использует диски и может снизить производительность во время выполнения. Избегайте периодов высокой нагрузки при планировании scrub или используйте vfs.zfs.scrub_delay для настройки относительного приоритета scrub, чтобы предотвратить замедление других задач.

Если возникла необходимость отменить операцию scrub, выполните zpool scrub -s mypool.

Контрольные суммы, хранимые с блоками данных, позволяют файловой системе самовосстанавливаться. Эта функция автоматически исправляет данные, контрольная сумма которых не совпадает с записанной на другом устройстве, входящем в состав пула хранения. Например, в конфигурации зеркала с двумя дисками, где один из дисков начинает работать со сбоями и больше не может корректно хранить данные. Это становится ещё хуже, если данные долгое время не были доступны, как в случае долгосрочного архивного хранения. Традиционные файловые системы требуют выполнения команд для проверки и исправления данных, таких как fsck(8). Эти команды занимают время, а в сложных случаях администратору приходится выбирать, какую операцию восстановления выполнить. Когда ZFS обнаруживает блок данных с несовпадающей контрольной суммой, он пытается прочитать данные с зеркального диска. Если этот диск может предоставить корректные данные, ZFS передаст их приложению и исправит данные на диске с ошибочной контрольной суммой. Это происходит без какого-либо вмешательства администратора в ходе обычной работы пула.

Следующий пример демонстрирует самовосстановление при создании зеркального пула из дисков /dev/ada0 и /dev/ada1.

Скопируйте какие-нибудь важные данные в пул для защиты от ошибок данных с использованием функции самовосстановления и создайте контрольную сумму пула для последующего сравнения.

Симулируйте повреждение данных, записав случайные данные в начало одного из дисков в зеркале. Чтобы предотвратить восстановление данных ZFS при обнаружении, экспортируйте пул перед повреждением и снова импортируйте его после.

Статус пула показывает, что на одном устройстве произошла ошибка. Обратите внимание, что приложения, читающие данные из пула, не получили некорректных данных. ZFS предоставил данные с устройства ada0 с правильными контрольными суммами. Чтобы найти устройство с неверной контрольной суммой, ищите то, у которого в столбце CKSUM указано ненулевое значение.

ZFS обнаружил ошибку и обработал её, используя избыточность на неповреждённом зеркальном диске ada0. Сравнение контрольных сумм с исходными покажет, восстановлена ли согласованность пула.

Генерируйте контрольные суммы до и после намеренного изменения данных, пока данные в пуле еще совпадают. Это демонстрирует, как ZFS способен автоматически обнаруживать и исправлять любые ошибки, когда контрольные суммы различаются. Обратите внимание, что это возможно только при наличии достаточной избыточности в пуле. Пул, состоящий из одного устройства, не обладает возможностями самовосстановления. Именно поэтому контрольные суммы так важны в ZFS — не отключайте их ни по какой причине. ZFS не требует использования fsck(8) или аналогичной программы проверки целостности файловой системы для обнаружения и исправления ошибок, а также поддерживает доступность пула даже при наличии проблемы. Теперь требуется операция scrub для перезаписи поврежденных данных на ada1.

Операция scrub читает данные с ada0 и перезаписывает любые данные с некорректной контрольной суммой на ada1, что отображается как (repairing) в выводе zpool status. После завершения операции состояние пула изменяется на:

После завершения операции очистки, когда все данные синхронизированы с ada0 на ada1, сбросьте сообщения об ошибках из состояния пула, выполнив команду zpool clear, как описано в разделе Сброс состояния ошибки.

Пулу возвращено полностью рабочее состояние, все счётчики ошибок теперь обнулены.

Наименьшее устройство в каждом vdev ограничивает полезный размер избыточного пула. Замените наименьшее устройство на устройство большего размера. После завершения операции замены или пересинхронизации пул может расшириться для использования ёмкости нового устройства. Например, рассмотрим зеркало из диска на 1 ТБ и диска на 2 ТБ. Полезное пространство составляет 1 ТБ. При замене диска на 1 ТБ другим диском на 2 ТБ процесс пересинхронизации копирует существующие данные на новый диск. Поскольку оба устройства теперь имеют ёмкость 2 ТБ, доступное пространство зеркала увеличивается до 2 ТБ.

Начните расширение, используя zpool online -e для каждого устройства. После расширения всех устройств дополнительное пространство становится доступным для пула.

Экспортируйте пулы перед перемещением на другую систему. ZFS отмонтирует все наборы данных, помечая каждое устройство как экспортированное, но все еще заблокированное, чтобы предотвратить использование другими дисками. Это позволяет импортировать пулы на других машинах, операционных системах с поддержкой ZFS и даже на аппаратных архитектурах другого типа (с некоторыми оговорками, см. zpool(8)). Если в наборе данных есть открытые файлы, используйте zpool export -f для принудительного экспорта пула. Используйте эту команду с осторожностью. Наборы данных будут принудительно отмонтированы, что может привести к неожиданному поведению приложений, работавших с открытыми файлами в этих наборах данных.

Экспортируйте пул, который не используется:

Импорт пула автоматически монтирует наборы данных. Если такое поведение нежелательно, используйте zpool import -N, чтобы предотвратить это. zpool import -o устанавливает временные свойства для данного конкретного импорта. zpool import altroot= позволяет импортировать пул с базовой точкой монтирования вместо корня файловой системы. Если пул последний раз использовался в другой системе и не был корректно экспортирован, принудительно импортируйте его с помощью zpool import -f. zpool import -a импортирует все пулы, которые, по-видимому, не используются другой системой.

Выведите список всех доступных пулов для импорта:

Импортируйте пул с альтернативным корневым каталогом:

После обновления FreeBSD или при импорте пула с системы, использующей более старую версию, вручную обновите пул до последней версии ZFS для поддержки новых функций. Перед обновлением учтите, может ли пул потребоваться для импорта на более старой системе. Обновление является необратимым процессом. Обновление старых пулов возможно, но понижение версии пулов с новыми функциями — нет.

Обновление пула v28 для поддержки Feature Flags:

Новые возможности ZFS станут доступны только после выполнения команды zpool upgrade. Используйте zpool upgrade -v, чтобы увидеть, какие новые возможности предоставляет обновление, а также какие функции уже поддерживаются.

Обновление пула для поддержки новых флагов функций:

ZFS записывает команды, которые изменяют пул, включая создание наборов данных, изменение свойств или замену диска. Просмотр истории создания пула полезен, так же как и проверка того, какой пользователь выполнил конкретное действие и когда. История не хранится в файле журнала, а является частью самого пула. Команда для просмотра этой истории называется zpool history:

Вывод показывает команды zpool и zfs, изменяющие пул каким-либо образом, вместе с временной меткой. Команды вроде zfs list не включаются. Если имя пула не указано, ZFS отображает историю всех пулов.

zpool history может отображать еще больше информации при использовании опций -i или -l. Опция -i показывает события, инициированные пользователем, а также внутренние события ZFS, зарегистрированные в журнале.

Показать более подробную информацию, добавив -l. Отображение записей истории в длинном формате, включая такие сведения, как имя пользователя, выполнившего команду, и имя хоста, на котором произошло изменение.

Вывод показывает, что пользователь root создал зеркальный пул с дисками /dev/ada0 и /dev/ada1. Также в командах после создания пула отображается имя хоста myzfsbox. Отображение имени хоста становится важным при экспорте пула с одной системы и импорте на другую. Можно различить команды, выполненные на другой системе, по имени хоста, записанному для каждой команды.

Объедините оба варианта с zpool history, чтобы получить максимально детальную информацию для любого заданного пула. История пула предоставляет ценную информацию при отслеживании выполненных действий или необходимости более детального вывода для отладки.

Встроенная система мониторинга может отображать статистику операций ввода-вывода пула в реальном времени. Она показывает объем свободного и занятого пространства в пуле, количество операций чтения и записи в секунду, а также используемую пропускную способность ввода-вывода. По умолчанию ZFS отслеживает и отображает все пулы в системе. Укажите имя пула, чтобы ограничить мониторинг только этим пулом. Простой пример:

Чтобы непрерывно отслеживать активность ввода-вывода, укажите число в качестве последнего параметра, задающее интервал в секундах между обновлениями. Следующая строка статистики выводится после каждого интервала. Нажмите Ctrl+C, чтобы остановить непрерывный мониторинг. Укажите второе число в командной строке после интервала, чтобы задать общее количество отображаемой статистики.

Отображать более детальную статистику ввода-вывода с помощью -v. Каждое устройство в пуле отображается с отдельной строкой статистики. Это полезно для просмотра операций чтения и записи, выполняемых на каждом устройстве, и может помочь определить, замедляет ли какое-либо отдельное устройство работу пула. В этом примере показан зеркальный пул с двумя устройствами:

ZFS может разделить пул, состоящий из одного или нескольких зеркальных vdev, на два пула. Если не указано иное, ZFS отсоединяет последний элемент каждого зеркала и создает новый пул с теми же данными. Обязательно выполните пробный запуск операции с параметром -n сначала. Это отобразит детали запрошенной операции без её фактического выполнения. Это помогает убедиться, что операция выполнит то, что задумал пользователь.

В отличие от традиционных дисков и менеджеров томов, пространство в ZFS не выделяется заранее. В традиционных файловых системах после разметки и выделения пространства невозможно добавить новую файловую систему без добавления нового диска. В ZFS создание новых файловых систем возможно в любое время. Каждый набор данных обладает свойствами, включая такие функции, как сжатие, дедупликация, кэширование и квоты, а также другие полезные свойства, такие как режим только для чтения, чувствительность к регистру, сетевое общее использование файлов и точка монтирования. Возможно вложение наборов данных друг в друга, при этом дочерние наборы данных наследуют свойства от своих родительских. Делегирование, репликация, снимки, клетки позволяют администрировать и уничтожать каждый набор данных как единое целое. Создание отдельного набора данных для каждого типа или группы файлов имеет свои преимущества. Недостатком наличия большого количества наборов данных является то, что некоторые команды, такие как zfs list, будут выполняться медленнее, а монтирование сотен или даже тысяч наборов данных замедлит процесс загрузки FreeBSD.

Создайте новый набор данных и включите для него сжатие LZ4:

Уничтожение набора данных выполняется гораздо быстрее, чем удаление файлов в наборе данных, так как не требует сканирования файлов и обновления соответствующих метаданных.

Уничтожьте созданный набор данных:

В современных версиях ZFS команда zfs destroy выполняется асинхронно, и освобождённое пространство может появиться в пуле только через несколько минут. Используйте zpool get freeing имяпула для просмотра свойства freeing, которое показывает, какие наборы данных освобождают свои блоки в фоновом режиме. Если существуют дочерние наборы данных, например снимки или другие наборы данных, уничтожение родительского набора невозможно. Для удаления набора данных и его дочерних элементов используйте -r, чтобы рекурсивно удалить набор данных и его потомков. Опция -n -v позволяет вывести список наборов данных и снимков, которые будут удалены данной операцией, без фактического выполнения удаления. Также отображается пространство, которое будет освобождено после удаления снимков.

Том — это особый тип набора данных. Вместо монтирования в качестве файловой системы он представляется как блочное устройство в /dev/zvol/имя_пула/набор_данных. Это позволяет использовать том для других файловых систем, в качестве дисков для виртуальной машины или сделать его доступным для других сетевых узлов с использованием таких протоколов, как iSCSI или HAST.

Отформатируйте том с любой файловой системой или без файловой системы для хранения сырых данных. Для пользователя том выглядит как обычный диск. Размещение обычных файловых систем на этих zvols предоставляет возможности, которых нет у обычных дисков или файловых систем. Например, использование свойства сжатия на томе объёмом 250 МБ позволяет создать сжатую файловую систему FAT.

Уничтожение тома во многом аналогично уничтожению обычного набора данных файловой системы. Операция выполняется почти мгновенно, но освобождение места может занять несколько минут и происходит в фоновом режиме.

Для изменения имени набора данных используйте zfs rename. Эту же команду можно использовать для изменения родительского набора данных. Переименование набора данных с изменением родительского набора приведёт к изменению значений свойств, унаследованных от родительского набора данных. Переименование набора данных размонтирует, а затем снова смонтирует его в новом месте (с учётом наследования от нового родительского набора данных). Чтобы предотвратить это поведение, используйте опцию -u.

Переименовать набор данных и переместить его под другой родительский набор данных:

Переименование снимков выполняется той же командой. Из-за особенностей снимков, их переименование не может изменить родительский набор данных. Для рекурсивного переименования снимка укажите -r; это также переименует все снимки с таким же именем в дочерних наборах данных.

Каждый набор данных ZFS имеет свойства, которые определяют его поведение. Большинство свойств автоматически наследуются от родительского набора данных, но могут быть переопределены локально. Установите свойство для набора данных с помощью zfs set свойство=значение набор_данных. Большинство свойств имеют ограниченный набор допустимых значений, zfs get отобразит каждое возможное свойство и допустимые значения. Использование zfs inherit возвращает большинство свойств к их унаследованным значениям. Также возможны пользовательские свойства. Они становятся частью конфигурации набора данных и предоставляют дополнительную информацию о наборе данных или его содержимом. Чтобы отличить эти пользовательские свойства от встроенных в ZFS, используйте двоеточие (:), чтобы создать пользовательское пространство имён для свойства.

Чтобы удалить пользовательское свойство, используйте zfs inherit с параметром -r. Если пользовательское свойство не определено ни в одном из родительских наборов данных, эта опция удаляет его (но история пула всё равно сохраняет запись об изменении).

Снимки — одна из самых мощных функций ZFS. Снимок предоставляет доступную только для чтения копию набора данных на определённый момент времени. Благодаря механизму Copy-On-Write (COW), ZFS быстро создаёт снимки, сохраняя старые версии данных на диске. Если снимков не существует, ZFS освобождает место для последующего использования при перезаписи или удалении данных. Снимки экономят дисковое пространство, записывая только различия между текущим набором данных и предыдущей версией. Создание снимков возможно для целых наборов данных, но не для отдельных файлов или каталогов. Снимок набора данных дублирует всё его содержимое. Это включает свойства файловой системы, файлы, каталоги, права доступа и так далее. Снимки не занимают дополнительного места при создании, но начинают потреблять пространство по мере изменения блоков, на которые они ссылаются. Рекурсивные снимки, созданные с помощью -r, формируют снимки с одинаковыми именами для набора данных и его дочерних элементов, обеспечивая согласованный снимок файловых систем на определённый момент времени. Это может быть важно, когда приложение использует файлы в связанных наборах данных или зависящие друг от друга. Без снимков резервная копия содержала бы файлы из разных моментов времени.

Снимки в ZFS предоставляют множество функций, которых нет даже в других файловых системах с поддержкой снимков. Типичный пример использования снимков — быстрое резервное копирование текущего состояния файловой системы перед выполнением рискованных действий, таких как установка программного обеспечения или обновление системы. Если действие завершится неудачей, откат к снимку вернёт систему в состояние на момент его создания. Если обновление прошло успешно, снимок можно удалить для освобождения места. Без снимков неудачное обновление часто требует восстановления из резервных копий, что утомительно, отнимает много времени и может привести к простою системы, в течение которого она будет недоступна. Откат к снимкам выполняется быстро, даже во время обычной работы системы, с минимальным или нулевым временем простоя. Экономия времени огромна, особенно для многотерабайтных систем хранения, учитывая время, необходимое для копирования данных из резервной копии. Снимки не заменяют полное резервное копирование пула, но предлагают быстрый и простой способ сохранить копию набора данных на определённый момент времени.

Клон — это копия снимка, которая рассматривается как обычный набор данных. В отличие от снимка, клон доступен для записи, может быть смонтирован и имеет свои собственные свойства. После создания клона с помощью команды zfs clone уничтожение исходного снимка становится невозможным. Чтобы изменить отношение «родитель-потомок» между клоном и снимком, используйте команду zfs promote. Продвижение клона делает снимок потомком клона, а не исходного родительского набора данных. Это изменит способ учёта пространства в ZFS, но не повлияет на фактически используемый объём. Клон можно смонтировать в любом месте иерархии файловой системы ZFS, а не только ниже исходного расположения снимка.

Чтобы продемонстрировать функцию клонирования, используйте следующий набора данных в качестве примера:

Типичное применение клонов — эксперименты с определённым набором данных, при этом снимок остаётся в качестве резервной копии на случай возникновения проблем. Поскольку снимки нельзя изменить, создаётся доступный для чтения и записи клон снимка. После достижения нужного результата в клоне, клон повышается до набора данных, а старая файловая система удаляется. Удаление родительского набора данных не является обязательным, так как клон и набор данных могут без проблем сосуществовать.

Создание клона делает его точной копией состояния набора данных на момент создания снимка. Теперь можно изменять клон независимо от исходного набора данных. Связь между ними осуществляется через снимок. ZFS записывает эту связь в свойстве origin. Повышение клона с помощью zfs promote делает клон независимым набором данных. Это удаляет значение свойства origin и отключает новый независимый набор данных от снимка. Вот пример:

После внесения изменений, таких как копирование loader.conf в продвинутую клон-копию, например, старый каталог в этом случае становится устаревшим. Вместо него продвинутая клон-копия может его заменить. Для этого сначала выполните zfs destroy для старого набора данных, а затем zfs rename для клона, указав имя старого набора данных (или совершенно другое имя).

Клонированный снимок теперь является обычным набором данных. Он содержит все данные из исходного снимка, а также добавленные файлы, такие как loader.conf. Клоны предоставляют полезные возможности пользователям ZFS в различных сценариях. Например, можно предоставлять клетки в виде снимков с различными наборами установленных приложений. Пользователи могут клонировать эти снимки и добавлять свои собственные приложения по своему усмотрению. После внесения необходимых изменений клоны можно повысить до полноценных наборов данных и предоставить их конечным пользователям для работы, как с обычными наборами данных. Это экономит время и снижает административные затраты при предоставлении таких клеток.

Хранение данных в единственном пуле в одном месте подвергает их рискам, таким как кража, стихийные бедствия или действия людей. Регулярное резервное копирование всего пула крайне важно. ZFS предоставляет встроенную функцию сериализации, которая может отправлять потоковое представление данных на стандартный вывод. Используя эту функцию, можно сохранять эти данные в другом пуле, подключенном к локальной системе, или отправлять их по сети на другую систему. Снимки являются основой для этой репликации (см. раздел о снимках ZFS). Команды, используемые для репликации данных, — это zfs send и zfs receive.

Эти примеры демонстрируют репликацию ZFS с использованием следующих двух пулов:

Имя пула mypool — это основной пул, в который данные регулярно записываются и откуда они читаются. Используйте второй резервный пул backup на случай, если основной пул станет недоступен. Обратите внимание, что этот переход на резервный пул не выполняется автоматически в ZFS, а должен быть осуществлён вручную системным администратором при необходимости. Используйте снимок (snapshot), чтобы обеспечить согласованную версию файловой системы для репликации. После создания снимка mypool скопируйте его в пул backup путём репликации снимков. Это не включает изменения, сделанные после последнего снимка.

Теперь, когда снимок существует, используйте zfs send для создания потока, представляющего содержимое снимка. Сохраните этот поток в файл или примите его в другом пуле. Поток записывается в стандартный вывод, но перенаправьте его в файл или канал, иначе появится ошибка:

Для резервного копирования набора данных с помощью zfs send перенаправьте вывод в файл, расположенный в подключенном пуле резервных копий. Убедитесь, что в пуле достаточно свободного места для размещения отправленного снимка, то есть для данных, содержащихся в снимке, а не для изменений по сравнению с предыдущим снимком.

Команда zfs send передала все данные из снимка backup1 в пул backup. Для автоматического создания и отправки таких снимков используйте задание cron(8).

Вместо хранения резервных копий в виде архивных файлов ZFS может получать их как активную файловую систему, обеспечивая прямой доступ к резервным данным. Для доступа к фактическим данным, содержащимся в этих потоках, используйте zfs receive, чтобы преобразовать потоки обратно в файлы и каталоги. В приведённом ниже примере объединяются zfs send и zfs receive с использованием конвейера для копирования данных из одного пула в другой. После завершения передачи данные можно использовать напрямую в целевом пуле. Реплицировать набор данных можно только в пустой набор данных.

Используйте Квоты наборов данных, чтобы ограничить объём пространства, используемого определённым набором данных. Референтные квоты работают схожим образом, но учитывают пространство, используемое самим набором данных, исключая снимки и дочерние наборы данных. Аналогично, используйте пользовательские и групповые квоты, чтобы предотвратить исчерпание всего пространства в пуле или наборе данных пользователями или группами.

Следующие примеры предполагают, что пользователи уже существуют в системе. Перед добавлением пользователя в систему убедитесь, что вы сначала создали его домашний набор данных и установили mountpoint в /home/bob. Затем создайте пользователя и укажите домашний каталог на расположение mountpoint набора данных. Это правильно установит права владельца и группы без перекрытия уже существующих путей домашних каталогов.

Чтобы установить квоту набора данных в 10 ГБ для storage/home/bob:

Чтобы установить контрольную квоту в 10 ГБ для storage/home/bob:

Удалить квоту в 10 ГБ для storage/home/bob:

Общий формат userquota@пользователь=размер, и имя пользователя должно быть в одном из следующих форматов:

Например, чтобы установить пользовательскую квоту в 50 ГБ для пользователя с именем joe:

Чтобы удалить любую квоту:

Общий формат для установки квоты группы: groupquota@группа=размер.

Чтобы установить квоту для группы firstgroup в 50 ГБ, используйте:

Чтобы удалить квоту для группы firstgroup или убедиться, что она не установлена, используйте вместо этого:

Как и в случае с пользовательскими квотами, пользователи без прав root могут видеть квоты, связанные с группами, к которым они принадлежат. Пользователь с привилегией groupquota или root может просматривать и устанавливать квоты для всех групп.

Для отображения объема пространства, используемого каждым пользователем в файловой системе или снимке, вместе с квотами, используйте zfs userspace. Для информации о группах используйте zfs groupspace. Подробнее о поддерживаемых опциях или о том, как отобразить только определенные опции, см. в zfs(1).

Привилегированные пользователи и root могут просмотреть квоту для storage/home/bob, используя:

Резервирования гарантируют всегда доступный объём пространства в наборе данных. Зарезервированное пространство не будет доступно для других наборов данных. Эта полезная функция обеспечивает наличие свободного места для важных наборов данных или файлов журналов.

Общий формат свойства reservation — reservation=размер, поэтому, чтобы установить резервирование в 10 ГБ для storage/home/bob, используйте:

Чтобы очистить любое резервирование:

Тот же принцип применяется к свойству refreservation для установки Референсного резервирования, с общим форматом refreservation=размер.

Эта команда показывает все и резервирования (reservation), и референсные резервирования (refreservation), существующие в storage/home/bob:

ZFS предоставляет прозрачное сжатие. Сжатие данных на уровне блоков экономит место и увеличивает пропускную способность диска. Если данные сжимаются на 25%, то сжатые данные записываются на диск с той же скоростью, что и несжатые, что приводит к эффективной скорости записи в 125%. Сжатие также может быть отличной альтернативой Дедупликации, так как не требует дополнительной памяти.

ZFS предлагает различные алгоритмы сжатия, каждый со своими компромиссами. Введение сжатия LZ4 в ZFS v5000 позволяет сжимать весь пул без значительного снижения производительности, характерного для других алгоритмов. Главное преимущество LZ4 — функция раннего прерывания. Если LZ4 не достигает как минимум 12,5% сжатия в заголовочной части данных, ZFS записывает блок без сжатия, чтобы избежать потерь процессорного времени на попытки сжать уже сжатые или несжимаемые данные. Подробнее о различных алгоритмах сжатия, доступных в ZFS, см. в разделе Сжатие терминологии.

Администратор может оценить эффективность сжатия, используя свойства набора данных.

Набор данных использует 449 ГБ пространства (свойство used). Без сжатия он занял бы 496 ГБ пространства (свойство logicalused). Это даёт коэффициент сжатия 1.11:1.

Сжатие может иметь неожиданный побочный эффект при использовании вместе с Квотами пользователей. Квоты пользователей ограничивают фактическое пространство, которое пользователь занимает на наборе данных после сжатия. Если у пользователя есть квота в 10 ГБ, и он записывает 10 ГБ сжимаемых данных, он всё равно сможет сохранить больше данных. Если позже пользователь обновит файл, например базу данных, более или менее сжимаемыми данными, количество доступного ему пространства изменится. Это может привести к необычной ситуации, когда пользователь не увеличил фактический объём данных (свойство logicalused), но изменение степени сжатия привело к достижению предела его квоты.

Сжатие может иметь схожий непредвиденный эффект при взаимодействии с резервными копиями. Квоты часто используются для ограничения хранимых данных, чтобы гарантировать наличие достаточного места для резервного копирования. Поскольку квоты не учитывают сжатие, ZFS может записать больше данных, чем поместилось бы при резервном копировании без сжатия.

В OpenZFS 2.0 был добавлен новый алгоритм сжатия. Zstandard (Zstd) обеспечивает более высокие коэффициенты сжатия по сравнению с используемым по умолчанию LZ4, при этом работая значительно быстрее альтернативного gzip. OpenZFS 2.0 доступен начиная с FreeBSD 12.1-RELEASE в пакете sysutils/openzfs и является стандартным начиная с FreeBSD 13.0-RELEASE.

Zstd предоставляет широкий выбор уровней сжатия, обеспечивая детальный контроль над производительностью и степенью сжатия. Одним из основных преимуществ Zstd является то, что скорость распаковки не зависит от уровня сжатия. Для данных, которые записываются один раз, но часто читаются, Zstd позволяет использовать максимальные уровни сжатия без потери производительности при чтении.

Даже при частом обновлении данных включение сжатия часто обеспечивает более высокую производительность. Одно из главных преимуществ связано с функцией сжатого ARC. Адаптивный кэш замещения (ARC Adaptive Replacement Cache) в ZFS хранит сжатую версию данных в оперативной памяти, распаковывая их при каждом обращении. Это позволяет хранить больше данных и метаданных в том же объеме памяти, повышая коэффициент попадания в кэш.

ZFS предлагает 19 уровней сжатия Zstd, каждый из которых обеспечивает постепенное увеличение экономии места в обмен на более медленное сжатие. Уровень по умолчанию — zstd-3, который обеспечивает лучшее сжатие, чем LZ4, без значительного снижения скорости. Уровни выше 10 требуют большого объема памяти для сжатия каждого блока, и системы с менее чем 16 ГБ ОЗУ не должны их использовать. ZFS также использует подмножество уровней Zstd_fast_, которые работают быстрее, но обеспечивают меньшую степень сжатия. ZFS поддерживает уровни от zstd-fast-1 до zstd-fast-10, от zstd-fast-20 до zstd-fast-100 с шагом 10, а также zstd-fast-500 и zstd-fast-1000, которые обеспечивают минимальное сжатие, но обладают высокой производительностью.

Если ZFS не может получить необходимую память для сжатия блока с помощью Zstd, он переходит к сохранению блока в несжатом виде. Это маловероятно, за исключением случаев использования максимальных уровней Zstd на системах с ограниченной памятью. ZFS подсчитывает, сколько раз это произошло с момента загрузки модуля ZFS, с помощью kstat.zfs.misc.zstd.compress_alloc_fail.

Когда включена перекрёстная дедупликация, она использует контрольную сумму каждого блока для обнаружения дублирующихся блоков. Когда новый блок является дубликатом существующего блока, ZFS записывает новую ссылку на существующие данные вместо всего дублирующегося блока. Возможна значительная экономия места, если данные содержат много дублирующихся файлов или повторяющейся информации. Предупреждение: дедупликация требует большого объёма памяти, а включение сжатия обеспечивает большую часть экономии места без дополнительных затрат.

Для активации дедупликации установите свойство dedup в целевой пул:

Дедупликация затрагивает только новые данные, записываемые в пул. Простое включение этой опции не приведёт к дедупликации уже записанных в пул данных. Пул с только что активированным свойством дедупликации будет выглядеть следующим образом:

Столбец DEDUP показывает фактический уровень дедупликации для пула. Значение 1.00x означает, что данные пока не дедуплицированы. В следующем примере некоторые системные двоичные файлы копируются три раза в разные каталоги в пуле с дедупликацией, созданном выше.

Для наблюдения за дедупликацией избыточных данных используйте:

Столбец DEDUP показывает коэффициент 3.00x. Обнаружение и дедупликация копий данных используют треть пространства. Потенциальная экономия пространства может быть огромной, но достигается за счет наличия достаточного объема памяти для отслеживания дедуплицированных блоков.

Дедупликация не всегда полезна, если данные в пуле не содержат избыточности. ZFS может показать потенциальную экономию пространства, имитируя дедупликацию на существующем пуле:

После завершения анализа пула командой zdb -S отображается коэффициент сокращения пространства, который был бы достигнут при активации дедупликации. В данном случае значение 1.16 указывает на низкий уровень экономии пространства, в основном обеспечиваемый сжатием. Активация дедупликации для этого пула не сэкономит значительного объема пространства и не оправдает объем памяти, необходимый для её включения. Используя формулу ratio = dedup * compress / copies, системные администраторы могут планировать распределение хранилища, определяя, будет ли рабочая нагрузка содержать достаточное количество дублирующихся блоков, чтобы оправдать требования к памяти. Если данные достаточно хорошо сжимаемы, экономия пространства может быть значительной. Рекомендуется сначала включить сжатие, так как оно также значительно повышает производительность. Активируйте дедупликацию только в случаях, когда экономия пространства существенна и имеется достаточный объем доступной памяти для DDT.

Используйте zfs jail и соответствующее свойство jailed, чтобы делегировать набор данных ZFS в Клетку. zfs jail идентификатор_клетки присоединяет набор данных к указанной клетке, а zfs unjail отсоединяет его. Для управления набором данных изнутри клетки установите свойство jail. ZFS запрещает монтирование на хосте набора данных со свойством jail, так как его точки монтирования могут нарушить безопасность хоста.

zfs allow someuser create mydataset предоставляет указанному пользователю разрешение на создание дочерних наборов данных в выбранном родительском наборе данных. Важное замечание: создание нового набора данных включает его монтирование. Для этого необходимо установить параметр vfs.usermount в sysctl(8) FreeBSD в значение 1, чтобы разрешить непривилегированным пользователям монтировать файловую систему. Ещё одно ограничение, направленное на предотвращение злоупотреблений: непривилегированные пользователи должны быть владельцами точки монтирования, куда монтируется файловая система.

zfs allow someuser allow mydataset предоставляет указанному пользователю возможность назначать любые разрешения, которые у него есть для целевого набора данных или его дочерних элементов, другим пользователям. Если пользователь имеет разрешение snapshot и разрешение allow, он может предоставить разрешение snapshot другим пользователям.

Настройте параметры для оптимальной производительности ZFS в различных рабочих нагрузках.

Некоторые функции ZFS требуют значительных ресурсов памяти и могут потребовать настройки для повышения эффективности на системах с ограниченным объемом ОЗУ.