Глава 21. GEOM: Модульная инфраструктура трансформации дискового пространства

Многие дисковые системы хранят метаданные в конце каждого диска. Старые метаданные следует стереть перед повторным использованием диска для зеркала. Большинство проблем вызвано двумя конкретными типами оставшихся метаданных: таблицами разделов GPT и старыми метаданными от предыдущего зеркала.

Метаданные GPT можно удалить с помощью gpart(8). В этом примере удаляются как основная, так и резервная таблицы разделов GPT с диска ada8:

Диск может быть удален из активного зеркала, а его метаданные стерты за один шаг с помощью gmirror(8). В этом примере диск ada8 удаляется из активного зеркала gm4:

Если зеркало не запущено, но старые метаданные зеркала остались на диске, используйте gmirror clear для их удаления:

gmirror(8) хранит один блок метаданных в конце диска. Поскольку схемы разделов GPT также хранят метаданные в конце диска, зеркалирование целых GPT-дисков с помощью gmirror(8) не рекомендуется. Здесь используется разделение MBR, так как оно хранит таблицу разделов только в начале диска и не конфликтует с метаданными зеркала.

В этом примере FreeBSD уже установлена на одном диске ada0. К системе подключены два новых диска — ada1 и ada2. На этих дисках будет создано новое зеркало, которое заменит старый одиночный диск.

Модуль ядра geom_mirror.ko должен быть либо встроен в ядро, либо загружен при загрузке или во время работы. Вручную загрузите модуль ядра сейчас:

Создайте зеркало с двумя новыми дисками:

gm0 — это выбранное пользователем имя устройства, назначенное новому зеркалу. После запуска зеркала это имя устройства появляется в /dev/mirror/.

Теперь таблицы разделов MBR и bsdlabel можно создавать на зеркале с помощью gpart(8). В этом примере используется традиционная структура файловой системы с разделами для /, swap, /var, /tmp и /usr. Также подойдёт одиночный раздел / и раздел подкачки.

Разделы на зеркале не обязательно должны быть такого же размера, как и на существующем диске, но они должны быть достаточно большими, чтобы вместить все данные, уже находящиеся на ada0.

Сделайте зеркало загружаемым, установив загрузочный код в MBR и bsdlabel, а также настроив активный раздел:

Отформатируйте файловые системы на новом зеркале, включив мягкие обновления.

Файловые системы с исходного диска ada0 теперь можно скопировать на зеркало с помощью dump(8) и restore(8).

Отредактируйте файл /mnt/etc/fstab, чтобы он указывал на файловые системы нового зеркала:

Если модуль ядра geom_mirror.ko не встроен в ядро, файл /mnt/boot/loader.conf редактируется для загрузки модуля при старте системы:

Перезагрузите систему, чтобы проверить новое зеркало и убедиться, что все данные скопированы. BIOS увидит зеркало как два отдельных диска, а не как зеркало. Поскольку диски идентичны, не имеет значения, какой из них выбран для загрузки.

См. Устранение неполадок, если возникли проблемы с загрузкой. Отключение питания и извлечение исходного диска ada0 позволит сохранить его в качестве автономной резервной копии.

При использовании зеркало будет вести себя так же, как исходный одиночный диск.

В этом примере FreeBSD уже установлена на одном диске ada0. К системе подключён новый диск ada1. На новом диске будет создано однодисковое зеркало, существующая система скопирована на него, после чего старый диск будет добавлен в зеркало. Эта несколько сложная процедура необходима, потому что gmirror требует размещения 512-байтового блока метаданных в конце каждого диска, а на существующем ada0 обычно всё пространство уже занято.

Загрузите модуль ядра geom_mirror.ko:

Проверьте размер носителя исходного диска с помощью diskinfo:

Создайте зеркало на новом диске. Чтобы убедиться, что объем зеркала не превышает объем исходного диска ada0, используется gnop(8) для создания виртуального диска того же размера. Этот диск не хранит данных, а служит только для ограничения размера зеркала. Когда gmirror(8) создает зеркало, он ограничит объем до размера gzero.nop, даже если новый диск ada1 имеет больше места. Обратите внимание, что число 1000204821504 во второй строке соответствует размеру носителя ada0, показанному командой diskinfo выше.

Поскольку gzero.nop не хранит никаких данных, зеркало не считает его подключенным. Зеркалу указывается «забыть» неподключенные компоненты, удаляя ссылки на gzero.nop. В результате получается зеркальное устройство, содержащее только один диск — ada1.

После создания gm0 просмотрите таблицу разделов на ada0. Этот вывод сделан для диска объемом 1 ТБ. Если в конце диска осталось нераспределенное пространство, содержимое можно скопировать напрямую с ada0 на новое зеркало.

Однако, если вывод показывает, что всё пространство на диске занято, как в следующем примере, то для метаданных зеркала размером 512 байт в конце диска не остаётся места.

В этом случае необходимо отредактировать таблицу разделов, уменьшив ёмкость на один сектор для mirror/gm0. Процедура будет описана далее.

В любом случае таблицы разделов на основном диске следует сначала скопировать с помощью gpart backup и gpart restore.

Эти команды создают два файла, table.ada0 и table.ada0s1. Этот пример приведен для диска объемом 1 ТБ:

Если в конце диска не отображается свободное пространство, размер и раздела, и последнего раздела должен быть уменьшен на один сектор. Отредактируйте два файла, уменьшив размер и раздела, и последнего раздела на единицу. Это последние числа в каждом списке.

Если хотя бы один сектор в конце диска был нераспределен, эти два файла можно использовать без изменений.

Теперь восстановите таблицу разделов в mirror/gm0:

Проверьте таблицу разделов с помощью gpart show. В этом примере gm0s1a для /, gm0s1d для /var, gm0s1e для /usr, gm0s1f для /data1 и gm0s1g для /data2.

Как срез, так и последний раздел должны иметь как минимум один свободный блок в конце диска.

Создайте файловые системы на этих новых разделах. Количество разделов может варьироваться в соответствии с исходным диском, ada0.

Сделайте зеркало загружаемым, установив загрузочный код в MBR и bsdlabel, а также настроив активный раздел:

Настройте /etc/fstab для использования новых разделов на зеркале. Сначала создайте резервную копию этого файла, скопировав его в /etc/fstab.orig.

Отредактируйте файл /etc/fstab, заменив /dev/ada0 на mirror/gm0.

Если модуль ядра geom_mirror.ko не встроен в ядро, отредактируйте /boot/loader.conf для его загрузки при старте системы:

Файловые системы с исходного диска теперь можно скопировать на зеркало с помощью dump(8) и restore(8). Каждая файловая система, сохранённая с помощью dump -L, сначала создаст снимок, что может занять некоторое время.

Перезагрузите систему, загрузившись с ada1. Если всё работает правильно, система загрузится с mirror/gm0, который теперь содержит те же данные, что ранее были на ada0. Обратитесь к разделу Устранение неполадок, если возникли проблемы с загрузкой.

На этом этапе зеркало всё ещё состоит только из одного диска ada1.

После успешной загрузки с mirror/gm0 последним шагом будет добавление ada0 в зеркало.

Синхронизация между двумя дисками начнется немедленно. Для просмотра прогресса используйте команду gmirror status.

Через некоторое время синхронизация завершится.

mirror/gm0 теперь состоит из двух дисков ada0 и ada1, и их содержимое автоматически синхронизируется между собой. При использовании mirror/gm0 будет вести себя так же, как исходный одиночный диск.

Если система больше не загружается, возможно, потребуется изменить настройки BIOS для загрузки с одного из новых зеркалированных дисков. Для загрузки можно использовать любой из зеркальных дисков, так как они содержат идентичные данные.

Если загрузка останавливается с таким сообщением, значит, что-то не так с зеркальным устройством:

Проблема может быть вызвана тем, что забыли загрузить модуль geom_mirror.ko , не добавив его в /boot/loader.conf. Чтобы исправить её, загрузитесь с установочного носителя FreeBSD и выберите Shell при первом запросе. Затем загрузите модуль mirror и смонтируйте зеркальное устройство:

Отредактируйте файл /mnt/boot/loader.conf, добавив строку для загрузки модуля mirror:

Сохраните файл и перезагрузите систему.

Другие проблемы, вызывающие ошибку 19, требуют больше усилий для исправления. Хотя система должна загружаться с ada0, появится ещё один запрос на выбор оболочки, если /etc/fstab указан неверно. Введите ufs:/dev/ada0s1a в строке загрузчика и нажмите Enter. Отмените изменения в /etc/fstab, затем смонтируйте файловые системы с исходного диска (ada0) вместо зеркала. Перезагрузите систему и повторите процедуру снова.

Преимущество зеркалирования дисков заключается в том, что при отказе одного диска зеркало не теряет данных. В приведённом примере, если ada0 выйдет из строя, зеркало продолжит работать, предоставляя данные с оставшегося рабочего диска ada1.

Для замены вышедшего из строя диска завершите работу системы и физически замените неисправный диск новым диском равной или большей ёмкости. Производители используют довольно произвольные значения при указании ёмкости дисков в гигабайтах, и единственный способ точно убедиться в этом — сравнить общее количество секторов, отображаемое командой diskinfo -v. Диск с большей ёмкостью, чем у зеркала, будет работать, хотя дополнительное пространство на новом диске использоваться не будет.

После перезагрузки компьютера зеркало будет работать в "деградированном" режиме с одним диском. Необходимо указать зеркалу забыть диски, которые в данный момент не подключены:

Любые старые метаданные должны быть удалены с заменяемого диска, следуя инструкциям в Проблемы с метаданными. Затем заменяющий диск, ada4 в данном примере, добавляется в зеркало:

Синхронизация начинается при установке нового диска в зеркало. Этот процесс копирования данных зеркала на новый диск может занять некоторое время. Производительность зеркала значительно снизится во время копирования, поэтому добавление новых дисков лучше выполнять при низкой нагрузке на компьютер.

Ход выполнения можно отслеживать с помощью gmirror status, который показывает диски, находящиеся в процессе синхронизации, и процент завершения. Во время повторной синхронизации статус будет DEGRADED, а по завершении процесса изменится на COMPLETE.

В FreeBSD поддержка RAID3 реализована классом GEOM graid3(8). Создание выделенного массива RAID3 в FreeBSD требует выполнения следующих шагов.

Для сохранения данной конфигурации после перезагрузки системы требуется дополнительная настройка.

В устройствах с программным RAID часто есть меню, которое можно вызвать, нажав специальные клавиши при загрузке компьютера. Это меню позволяет создавать и удалять RAID-массивы. graid(8) также может создавать массивы напрямую из командной строки.

graid label используется для создания нового массива. В данном примере используется материнская плата с чипсетом Intel software RAID, поэтому указан формат метаданных Intel. Новый массив получает метку gm0, это зеркало (RAID1), и использует диски ada0 и ada1.

Проверка состояния показывает, что новое зеркало готово к использованию:

Устройство массива отображается в /dev/raid/. Первый массив называется r0. Дополнительные массивы, если они есть, будут называться r1, r2 и так далее.

В меню BIOS на некоторых из этих устройств можно создавать массивы со специальными символами в их именах. Чтобы избежать проблем с этими специальными символами, массивам присваиваются простые числовые имена, например, r0. Для отображения фактических меток, таких как gm0 в примере выше, используйте sysctl(8):

Некоторые устройства программного RAID поддерживают более одного тома в массиве. Тома работают подобно разделам, позволяя разделять пространство на физических дисках и использовать его различными способами. Например, устройства программного RAID от Intel поддерживают два тома. В этом примере создаётся зеркало размером 40 ГБ для безопасного хранения операционной системы, а затем том RAID0 (чередующийся) размером 20 ГБ для быстрого временного хранения:

Тома появляются как дополнительные записи rX в каталоге /dev/raid/. Массив с двумя томами будет отображать r0 и r1.

См. graid(8) для информации о количестве томов, поддерживаемых различными устройствами программного RAID.

При определенных условиях возможно преобразовать существующий одиночный диск в массив graid(8) без переформатирования. Чтобы избежать потери данных во время преобразования, существующий диск должен соответствовать следующим минимальным требованиям:

Если диск соответствует этим требованиям, начните с создания полной резервной копии. Затем создайте зеркало с одним диском на этом диске:

Метаданные graid(8) были записаны в конец диска в неиспользуемое пространство. Теперь можно вставить второй диск в зеркало:

Данные с исходного диска начнут немедленно копироваться на второй диск. Зеркало будет работать в деградировавшем состоянии до завершения копирования.

Диски могут быть добавлены в массив в качестве замены отказавших или отсутствующих дисков. Если нет отказавших или отсутствующих дисков, новый диск становится запасным. Например, добавление нового диска в рабочее зеркало из двух дисков приведет к зеркалу из двух дисков с одним запасным, а не к зеркалу из трех дисков.

В примере зеркального массива данные сразу же начинают копироваться на только что вставленный диск. Любая существующая информация на новом диске будет перезаписана.

Отдельные диски можно навсегда удалить из массива и стереть их метаданные:

Массив можно остановить без удаления метаданных с дисков. Массив будет перезапущен при загрузке системы.

Статус массива можно проверить в любое время. После добавления диска в зеркало в приведённом выше примере данные копируются с исходного диска на новый:

Некоторые типы массивов, такие как RAID0 или CONCAT, могут не отображаться в отчёте о состоянии при выходе дисков из строя. Чтобы увидеть эти частично неработоспособные массивы, добавьте -ga:

Массивы уничтожаются путём удаления всех томов из них. Когда удаляется последний оставшийся том, массив останавливается, а метаданные удаляются с дисков:

Диски могут неожиданно содержать метаданные graid(8), оставшиеся от предыдущего использования или тестирования производителем. graid(8) обнаружит эти диски и создаст массив, что помешает доступу к отдельному диску. Для удаления нежелательных метаданных:

Постоянные метки могут быть общими или метками файловой системы. Постоянные метки файловой системы можно создать с помощью tunefs(8) или newfs(8). Такие метки создаются в подкаталоге /dev и именуются в соответствии с типом файловой системы. Например, метки файловой системы UFS2 будут созданы в /dev/ufs. Общие постоянные метки можно создать с помощью glabel label. Они не привязаны к конкретной файловой системе и будут размещены в /dev/label.

Временные метки удаляются при следующей перезагрузке. Эти метки создаются в /dev/label и подходят для экспериментов. Временную метку можно создать с помощью glabel create.

Чтобы создать постоянную метку для файловой системы UFS2 без уничтожения данных, выполните следующую команду:

Теперь в /dev/ufs должна существовать метка, которую можно добавить в /etc/fstab:

Теперь файловую систему можно смонтировать:

Начиная с этого момента, при условии, что модуль ядра geom_label.ko загружается при загрузке через /boot/loader.conf или присутствует опция ядра GEOM_LABEL, изменение узла устройства не окажет негативного влияния на систему.

Файловые системы также могут быть созданы с меткой по умолчанию с использованием флага -L в newfs. Подробнее см. в newfs(8).

Следующая команда может быть использована для удаления метки:

Следующий пример показывает, как назначить метки разделам загрузочного диска.

Класс glabel(8) поддерживает тип метки для файловых систем UFS, основанный на уникальном идентификаторе файловой системы, ufsid. Эти метки могут быть найдены в /dev/ufsid и создаются автоматически во время запуска системы. Можно использовать метки ufsid для монтирования разделов с помощью /etc/fstab. Для получения списка файловых систем и соответствующих им меток ufsid используйте команду glabel status:

В приведённом выше примере ad4s1d соответствует /var, а ad4s1f — /usr. Используя указанные значения ufsid, эти разделы можно смонтировать, добавив следующие строки в /etc/fstab:

Любые разделы с метками ufsid могут быть смонтированы таким образом, что устраняет необходимость вручную создавать постоянные метки, сохраняя при этом преимущества монтирования, независимого от имён устройств.