Глава 17. Клетки и контейнеры

Толстая клетка (thick jail) — это традиционная форма клетки FreeBSD. В толстой клетке полная копия базовой системы реплицируется внутри окружения клетки. Это означает, что клетка имеет свою собственную отдельную копию базовой системы FreeBSD, включая библиотеки, исполняемые файлы и конфигурационные файлы. Клетку можно рассматривать как почти полноценную автономную установку FreeBSD, но работающую в рамках хост-системы. Такая изоляция гарантирует, что процессы внутри клетки остаются отделёнными от процессов на хосте и в других клетках.

Преимущества толстых клеток:

Недостатки толстых клеток:

Тонкая клетка использует базовую систему из шаблона, используя либо снимки OpenZFS, либо монтирования NullFS. Для каждой тонкой клетки дублируется лишь минимальный поднабор базовой системы, что приводит к меньшему потреблению ресурсов по сравнению с толстой клеткой. Два механизма ведут себя по-разному после создания клеток. При методе OpenZFS каждая тонкая клетка создается как клон снимка шаблона: независимая копия с записью при копировании, которая разделяет неизмененные блоки с шаблоном, но расходится при изменении. Более поздние изменения шаблона не распространяются на существующие клоны, и каждый клон обслуживается и обновляется индивидуально, во многом как толстая клетка. При методе NullFS каждая тонкая клетка монтирует шаблон только для чтения во время выполнения, поэтому базовая система используется совместно в реальном времени, и обновление шаблона обновляет каждую клетку, которая его монтирует. Эта общая база, доступная только для чтения, также обеспечивает тонким клеткам NullFS меньшую изоляцию и независимость, чем толстым клеткам, поскольку изменения в общих компонентах одновременно затрагивают каждую клетку, использующую их.

Вкратце, тонкая клетка в FreeBSD — это тип клетки FreeBSD, который воспроизводит значительную часть, но не всю базовую систему, в изолированной среде.

Преимущества тонких клеток:

Недостатки тонких клеток:

Сервисная клетка (service jail) напрямую разделяет всё дерево файловой системы с хостом (корневой путь клетки — /) и, таким образом, может получать доступ и изменять любые файлы на хосте, а также использует те же учётные записи пользователей, что и хост. По умолчанию у неё нет доступа к сети или другим ресурсам, ограниченным в клетках, но её можно настроить для повторного использования сети хоста и снятия некоторых ограничений клетки. Основное применение сервисных клеток — автоматическое ограничение служб/демонов внутри клетки с минимальной настройкой и без необходимости знания файлов, требуемых такой службой/демоном. Сервисные клетки доступны с версии FreeBSD 15.0.

Преимущества сервисных клеток:

Недостатки сервисных клеток:

Большая часть настройки клеток, обсуждаемая ниже, не требуется для сервисных клеток. Чтобы понять, как работают клетки, рекомендуется разобраться в этих возможностях конфигурации. Подробности о том, что необходимо для настройки сервисной клетки, приведены в разделе Настройка сервисных клеток.

Клетка FreeBSD VNET — это виртуализированная среда, которая обеспечивает изоляцию и контроль сетевых ресурсов для процессов, выполняющихся внутри неё. Она предоставляет высокий уровень сетевой сегментации и безопасности, создавая отдельный сетевой стек для процессов внутри клетки, что гарантирует изоляцию сетевого трафика внутри клетки от хост-системы и других клеток.

По сути, механизм VNET в FreeBSD добавляет возможность настройки сети. Это означает, что клетку VNET можно создать как толстой, так и тонкой.

Клетки Linux в FreeBSD — это функция в операционной системе FreeBSD, которая позволяет использовать исполняемые файлы Linux и приложения внутри клетки FreeBSD. Эта функциональность достигается за счёт совместимости, которая позволяет транслировать и выполнять определённые системные вызовы Linux и использовать библиотеки Linux с ядром FreeBSD. Цель клеток Linux — облегчить выполнение Linux-программ в системе FreeBSD без необходимости в отдельной виртуальной машине или среде Linux.

Утилита jail(8) управляет клетками.

Чтобы запускать клетки при загрузке системы, выполните следующие команды:

По умолчанию каждая клетка, которая имеет запись в конфигурационных файлах, запускается при загрузке. Чтобы запустить только выбранные клетки, перечислите их имена в jail_list:

Имена в jail_list разделяются пробелами и должны соответствовать именам клеток, определённым в /etc/jail.conf или /etc/jail.conf.d/. При загрузке запускаются только перечисленные клетки, и они запускаются в указанном порядке, поэтому любую клетку, пропущенную в jail_list, необходимо запускать вручную. Когда jail_list остаётся пустым, запускаются все клетки, определённые в файлах конфигурации.

Чтобы остановить клетки в обратном порядке их jail_list при завершении работы, установите jail_reverse_stop:

Сеть для клеток FreeBSD может быть настроена несколькими различными способами:

Для файлов клеток не назначено какого-то заранее определённого места.

Некоторые администраторы используют /jail, другие — /usr/jail, а третьи — /usr/local/jails. В этой главе будет использоваться /usr/local/jails.

Помимо каталога /usr/local/jails будут созданы другие каталоги:

При использовании OpenZFS выполните следующие команды для создания наборов данных для этих каталогов:

Создание отдельного дочернего набора данных для каждой клетки в дальнейшем позволяет делать снимки, клоны, квоты и делегирование наборов данных для каждой клетки. Поскольку каталог каждой клетки затем становится собственным набором данных, OpenZFS может как ограничивать, так и гарантировать использование ею дискового пространства с помощью свойств quota и reservation; см. Ограничения ресурсов клетки.

При использовании UFS выполните следующие команды для создания каталогов:

Существует два способа настройки клеток.

Первый вариант — добавить запись для каждой клетки в файл /etc/jail.conf. Другой вариант — создать отдельный файл для каждой клетки в каталоге /etc/jail.conf.d/.

В случае, если на хост-системе мало клеток, записи для каждого клетки можно добавить в файл /etc/jail.conf. Если на хост-системе много клеток, рекомендуется создать отдельный конфигурационный файл для каждой клетки в каталоге /etc/jail.conf.d/.

Файлы в /etc/jail.conf.d/ должны иметь расширение .conf, и их необходимо подключить в /etc/jail.conf:

Типичная запись с настройками клетки выглядит следующим образом:

В принципе, для клетки требуется только имя хоста, корневой каталог, IP-адрес и пользовательское пространство.

Пользовательское окружение для клетки можно получить с официальных серверов загрузки FreeBSD.

Выполните следующую команду, чтобы загрузить пользовательское окружение:

После завершения загрузки необходимо извлечь содержимое в каталог клетки.

Выполните следующие команды, чтобы извлечь пользовательское окружение в каталог клетки:

С извлечённой пользовательской средой в каталоге клетки потребуется скопировать файлы часового пояса и DNS-сервера:

Скопировав файлы, следующим шагом будет обновление до последнего уровня исправлений с помощью выполнения следующей команды:

Последним шагом является настройка клетки. Необходимо добавить запись в конфигурационный файл /etc/jail.conf или в jail.conf.d с параметрами клетки.

Пример может выглядеть следующим образом:

Выполните следующую команду для запуска клетки:

Дополнительная информация об управлении клетками приведена в разделе Управление клетками.

Процедура fetch-and-extract, показанная выше, является традиционным способом заполнения корневого каталога клетки, но это не единственный способ. Та же самая пользовательская среда может быть установлена с помощью bsdinstall(8), из базовых системных пакетов или из локально собранного дерева исходных кодов.

bsdinstall(8) предоставляет выделенную цель jail, которая настраивает новое пользовательское окружение в заданном каталоге для использования с jail(8). Она загружает и распаковывает наборы дистрибутивов без установки ядра, пропуская шаги разбиения диска и настройки сети обычной установки, что делает её однокомандным скриптом — альтернативой ручной последовательности загрузки и tar(1) следующим образом:

Цель jail по умолчанию устанавливает базовый дистрибутив (base.txz). Начиная с FreeBSD 15.0 и более поздних версий, bsdinstall(8) также может заполнять корневой каталог пакетами базовой системы с помощью своей цели pkgbase; метод на основе пакетов описан далее.

Начиная с FreeBSD 15.0, базовая система также публикуется в виде пакетов, поэтому пользовательское окружение клетки можно установить полностью с помощью pkg(8) из репозитория FreeBSD-base. Укажите pkg(8) на корневой каталог клетки с помощью глобальной опции --rootdir и установите вариант клетки для базового набора:

Используйте FreeBSD-set-minimal-jail вместо FreeBSD-set-base-jail для минимального пользовательского окружения. Клетка, установленная таким образом, впоследствии обновляется и получает исправления с помощью pkg(8), а не freebsd-update(8); см. Обновление клеток pkgbase.

Пользовательское окружение, собранное из дерева исходных кодов, может быть установлено в корневой каталог клетки с помощью переменной DESTDIR, что является способом запуска пользовательского окружения -STABLE или собранного вручную в клетке. После сборки мира установите его и остальные дистрибутивные файлы в каталог клетки:

make distribution устанавливает файлы конфигурации по умолчанию в /etc клетки и выполняется только один раз, при заполнении клетки; повторение этого действия во время обновления перезапишет конфигурацию внутри клетки. Чтобы обновить такую клетку из исходников, следуйте той же последовательности, что и для хост-системы: запустите installworld с тем же DESTDIR, объедините файлы конфигурации с помощью etcupdate -D, указав корневой каталог клетки, и удалите устаревшие файлы и библиотеки с помощью make delete-old delete-old-libs, снова с тем же DESTDIR, вместо использования freebsd-update(8). Полную процедуру обновления из исходного кода см. в Обновление FreeBSD из исходного кода.

После того как толстая клетка полностью настроена, с установленными пакетами, включёнными службами и локальной конфигурацией, она может служить шаблонным образом: шаблоном, из которого почти мгновенно развёртываются множество идентичных клеток.

В OpenZFS это делается путем создания снимка настроенного набора данных клетки и его клонирования. Это требует, чтобы исходная клетка располагалась в собственном наборе данных, поэтому создайте её с помощью zfs create, а не mkdir, как в классической процедуре клетки выше:

Остановите клетку перед созданием снимка, чтобы образ был консистентным, затем создайте снимок и клонируйте набор данных один раз для каждой новой клетки:

На хосте UFS скопируйте дерево каталогов настроенной клетки вместо этого:

Каждый клон требует своей собственной записи в /etc/jail.conf, или в jail.conf.d, с уникальным именем, путем и IP-адресом. Поскольку параметры path и host.hostname в приведенном выше примере выводятся из имени блока с помощью ${name}, отличаются только имя блока и адрес:

Клон шаблонного образа отличается от тонкой клетки (Тонкие клетки). Тонкая клетка продолжает использовать общую базу только для чтения и обслуживается один раз в шаблоне, тогда как каждый клон шаблонного образа представляет собой полную, независимо записываемую копию, которая обновляется и модернизируется отдельно, как описано в Обновление клетки. Клон OpenZFS изначально является эффективной по пространству копией при записи (copy-on-write), которая разделяет блоки со снимком, и сохраняет зависимость от этого исходного снимка, пока zfs promote не разорвёт её. Для полностью независимой копии или для репликации клетки на другой пул или хост используйте zfs send, переданный через конвейер в zfs receive, вместо zfs clone.

Благодаря хорошей интеграции между FreeBSD и OpenZFS создание новых тонких клеток с использованием снимков OpenZFS очень просто.

Для создания тонкой клетки с использованием снимков OpenZFS первым шагом является создание дерева каталогов клетки, следуя инструкциям в разделе Настройка дерева каталогов клетки.

Далее создайте шаблон. Шаблоны будут использоваться только для создания новых клеток. По этой причине они создаются в режиме "только для чтения", чтобы клетки создавались на неизменяемой основе.

Для создания набора данных для шаблона выполните следующую команду:

Затем выполните следующую команду для загрузки пользовательской среды:

После завершения загрузки необходимо извлечь содержимое в каталог шаблона, выполнив следующую команду:

Когда пользовательская среда записана в каталог шаблонов, необходимо скопировать файлы часового пояса и DNS-сервера в каталог шаблона, выполнив следующую команду:

Следующее, что нужно сделать, — обновиться до последнего уровня исправлений, выполнив следующую команду:

После завершения обновления шаблон готов.

Для создания снимка OpenZFS из шаблона выполните следующую команду:

После создания снимка OpenZFS можно создавать бесконечное количество клеток с помощью функции клонирования OpenZFS.

Для создания тонкой клетки с именем thinjail выполните следующую команду:

Последним шагом является настройка клетки. Необходимо добавить запись в конфигурационный файл /etc/jail.conf или в jail.conf.d с параметрами клетки.

Пример может выглядеть следующим образом:

Выполните следующую команду для запуска клетки:

Дополнительная информация об управлении клетками приведена в разделе Управление клетками.

Клетка может быть создана с уменьшенным дублированием системных файлов с использованием техники тонкой клетки и NullFS для выборочного совместного использования определённых каталогов из хост-системы в клетке.

Первым шагом является создание набора данных для сохранения шаблона, выполните следующую команду, если используется OpenZFS:

Или эту, если используется UFS:

Затем выполните следующую команду для загрузки пользовательской среды:

После завершения загрузки необходимо извлечь содержимое в каталог шаблона, выполнив следующую команду:

Когда пользовательская среда записана в каталог шаблонов, необходимо скопировать файлы часового пояса и DNS-сервера в каталог шаблона, выполнив следующую команду:

После перемещения файлов в шаблон следующим шагом будет обновление до последнего уровня исправлений с помощью выполнения следующей команды:

В дополнение к базовому шаблону также необходимо создать каталог, где будет располагаться skeleton. Некоторые каталоги будут скопированы из шаблона в skeleton.

Выполните следующую команду, чтобы создать набор данных для skeleton в случае использования OpenZFS:

Или эту в случае использования UFS:

Затем создайте skeleton-каталоги. Skeleton-каталоги будут содержать локальные каталоги для клеток.

Выполните следующие команды для создания каталогов:

Следующий шаг — создать символьные ссылки на skeleton, выполнив следующие команды:

Когда skeleton готов, необходимо скопировать данные в клетку.

В случае использования OpenZFS, снимки OpenZFS могут быть использованы для простого создания необходимого количества клеток с помощью выполнения следующих команд:

В случае использования UFS можно использовать программу cp(1), выполнив следующую команду:

Затем создайте каталог, в котором будут смонтированы базовый шаблон и skeleton:

Добавьте запись о клетке в /etc/jail.conf или файл в jail.conf.d следующим образом:

Затем создайте файл /usr/local/jails/thinjail-nullfs-base.fstab следующего содержания:

Файл fstab управляет тем, как mount_nullfs(8) представляет базовый шаблон и скелет внутри клетки. Базовый шаблон монтируется только для чтения (ro), чтобы каждая клетка NullFS использовала одну неизменяемую копию базовой системы. Скелет каждой клетки монтируется с возможностью чтения и записи (rw), и именно здесь каждая клетка хранит свои собственные доступные для записи каталоги /etc, /var, /usr/local и другие локальные каталоги. Поскольку все клетки используют один и тот же базовый шаблон только для чтения, обновление одного шаблона сразу обновляет все клетки NullFS, в отличие от независимых клонов OpenZFS, каждый из которых необходимо обновлять отдельно.

Выполните следующую команду для запуска клетки:

Настройка epair и подключение его к мосту вручную в exec.prestart и exec.poststop, как показано выше, становится утомительной при большом количестве клеток. В базовой системе есть вспомогательный скрипт, /usr/share/examples/jails/jib, который выполняет ту же самую настройку автоматически.

Ссылайтесь на него из хуков клетки вместо пяти самодельных строк ifconfig(8):

jib addm создает epair, чья сторона хоста называется e0a_<name>, а сторона клетки — e0b_<name>, затем присоединяет сторону хоста к мосту, который он создает автоматически, названному в честь интерфейса-члена (для em0 мост называется em0bridge). Укажите эту сторону клетки в vnet.interface. Когда клетка останавливается, jib destroy удаляет epair. Скрипт также предоставляет подкоманду jib show для вывода списка интерфейсов, которыми он управляет.

Третий режим работы сети, упомянутый в обзоре Сеть, использует netgraph(4) вместо bridge(4) и epair. В базовой системе поставляется второй вспомогательный скрипт, /usr/share/examples/jails/jng, который создает ng_bridge, подключенный к ng_eiface для каждой клетки:

jng bridge создает узлы netgraph и интерфейс на стороне клетки с именем ng0_<name>, который указывается в vnet.interface; jng shutdown разрушает топологию при остановке клетки. Результат функционально эквивалентен настройке с epair и bridge, но построен на узлах netgraph, а не на bridge(4).

Поскольку devfs_ruleset = 5 открывает доступ к /dev/pf, клетка VNET может запускать собственный межсетевой экран. Включите его внутри клетки точно так же, как на любом хосте, с помощью pf_enable="YES" в /etc/rc.conf клетки и её собственном /etc/pf.conf.

Однако правила набора 5 не открывают доступ к /dev/bpf. Клетка VNET, которая получает свой адрес через DHCP, например, с помощью ifconfig_e0b_myjail="SYNCDHCP" в её /etc/rc.conf, запускает dhclient(8), которому требуется bpf, и поэтому он терпит неудачу при использовании набора правил 5. Следуя рецепту из Devfs Rulesets, определите собственный набор правил в /etc/devfs.rules, который начинается с devfsrules_jail_vnet и дополнительно открывает устройства bpf:

После выполнения service devfs restart на хосте, укажите клетке на новый набор правил с помощью devfs_ruleset = 101;.

Для вывода списка клеток, запущенных в хост-системе, можно использовать команду jls(8):

Вывод должен быть похож на следующий:

jls(8) поддерживает аргумент --libxo, который через библиотеку libxo(3) позволяет отображать данные в других форматах, таких как JSON, HTML и т.д.

Например, выполните следующую команду для получения вывода в формате JSON:

Вывод должен быть похож на следующий:

Стандартный вывод является лишь малой частью того, что может сообщить jls(8). Добавьте флаг -v для подробной многострочной сводки по каждой клетке, включающей её состояние и назначенный идентификатор набора процессоров (cpuset ID):

Используйте -h для вывода строки заголовка с названиями полей над значениями запрашиваемых параметров:

Чтобы запросить конкретные параметры одной клетки, укажите её с помощью -j и перечислите параметры для вывода:

Вывод должен быть похож на следующий:

Добавьте -d, чтобы включить клетки, которые завершают работу и в противном случае скрыты, пока находятся в состоянии завершения:

service(8) используется для запуска, перезагрузки или остановки клетки на хосте.

Например, чтобы запустить клетку, выполните следующую команду:

Измените аргумент start на restart или stop, чтобы выполнить другие действия с клеткой.

Остановка клетки — это не просто завершение процессов внутри неё. Когда клетка останавливается, jail(8) сначала выполняет команды из её параметра exec.stop — обычно /bin/sh /etc/rc.shutdown — внутри клетки, чтобы её службы корректно завершились. Затем он отправляет SIGTERM всем процессам, всё ещё работающим в клетке, и ждёт до stop.timeout секунд (по умолчанию 10) их завершения. По истечении этого времени клетка удаляется, что завершает оставшиеся процессы сигналом SIGKILL. Если stop.timeout установлен в ноль, SIGTERM не отправляется, и клетка удаляется немедленно. Именно поэтому клетка с медленно останавливающимся демоном может казаться зависшей на десять секунд при остановке; увеличьте stop.timeout в /etc/jail.conf для клетки, в которой работает база данных или другая служба, требующая больше времени для корректного завершения.

Удаление клетки, это не просто остановка клетки с помощью service(8) и удаление каталога клетки и записи в /etc/jail.conf.

FreeBSD очень серьезно относится к безопасности системы. По этой причине существуют определённые файлы, которые не может удалить даже пользователь root. Эта функциональность называется Флаги Файлов. В клетках, чьи файлы находятся на файловой системе UFS, эти флаги должны быть очищены до удаление каталога клетки.

Первым шагом является остановка нужной клетки с помощью выполнения следующей команды:

Второй шаг — удалить эти флаги с помощью chflags(1), выполнив следующую команду, где classic — имя удаляемой клетки:

Третий шаг — удалить каталог, в котором находилась клетка:

Два шага выше относятся к клетке, хранящейся в файловой системе UFS. Клетка, поддерживаемая собственным набором данных ZFS — как созданная в Настройка дерева каталогов клетки — удаляется вместо этого путем уничтожения набора данных. Уничтожение набора данных не блокируется файловыми флагами, поэтому шаг с chflags(1) в этом случае не требуется:

Добавьте -r, чтобы также уничтожить любые снимки, которые хранит набор данных.

Наконец, в любом случае удалите запись клетки в /etc/jail.conf или в /etc/jail.conf.d. Для тонкой клетки NullFS также удалите её файл .fstab и её теперь пустой каталог точки монтирования.

Утилита pkg(8) поддерживает аргумент -j для управления пакетами, установленными внутри клетки.

Например, чтобы установить пакет www/nginx-lite в клетке, можно выполнить следующую команду с хоста:

Для получения дополнительной информации о работе с пакетами в FreeBSD см. Установка приложений: Пакеты и порты.

Службы внутри клетки можно включать и контролировать с хост-системы, не заходя сначала в клетку через jexec(8). Как service(8), так и sysrc(8) принимают аргумент -j, который указывает целевую клетку по ID или имени и работает с конфигурацией rc(8) этой клетки.

Продолжая пример с пакетами выше, включите и запустите nginx в клетке classic непосредственно с хост-системы:

Эти команды имеют тот же эффект, что и запуск sysrc(8) и service(8) через jexec(8), но они сохраняют единообразие администрирования и написания сценариев на стороне хост-системы с системой без клеток.

Как уже упоминалось выше, оптимальным является управление клетками из хост-системы, однако в клетку можно войти с помощью jexec(8).

В клетку можно войти, выполнив jexec(8) с хоста:

Флаг -u выбирает пользователя, от имени которого выполняется команда, разрешая имя через базу данных паролей хост-системы. Чтобы разрешить пользователя через собственную базу данных паролей клетки, используйте -U. Если команда не задана, как в данном случае, jexec(8) запускает оболочку входа этого пользователя внутри клетки. Добавьте -l, чтобы запустить её в чистой среде входа, сохраняющей только HOME, SHELL, TERM и USER, сбрасывающей PATH на /bin:/usr/bin и ведущей себя как новый вход; -d задаёт рабочую директорию, по умолчанию это корень клетки.

При входе в клетку будет отображено сообщение, настроенное в motd(5).

Для выполнения команды в клетке из хост-системы можно использовать jexec(8).

Например, чтобы остановить службу, работающую внутри клетки, будет выполнена команда:

С хост-системы процессы и сокеты каждой клетки видны и могут фильтроваться по клетке.

ps(1) принимает -J для ограничения своего вывода одной клеткой, заданной по JID или имени:

Вывод должен быть похож на следующий, где J в столбце STAT отмечает процесс, запущенный в клетке:

Используйте ps -J 0, чтобы показать только процессы самой хост-системы. Ключевые слова jail и jid также можно добавить в формат вывода -o, чтобы показать, к какой клетке относится каждый процесс. Например, чтобы вывести список всех процессов на хост-системе вместе с их клеткой:

top(1) принимает -J для фильтрации своего живого отображения по одной клетке, что подразумевает -j и добавляет столбец JID:

sockstat(1) выводит список сокетов, принадлежащих клетке, с помощью -j, что является естественным способом проверить, какие порты демоны клетки фактически привязали после запуска в ней службы:

Изнутри клетки картина обратная: процесс, заключенный в клетку, видит только процессы и сокеты своей собственной клетки и никогда не видит процессы или сокеты хоста или других клеток.

Представленная выше обёртка service(8) — это обычный способ запуска клеток при загрузке, но jail(8) также может создавать, изменять и удалять клетки напрямую, что полезно для написания скриптов и тестирования конфигурации без фреймворка rc.

Создайте настроенную клетку по имени:

Удалите работающую клетку; это также удалит все дочерние клетки, которые она создала, и завершит процессы внутри неё:

Флаг -m изменяет параметры уже запущенной клетки без её перезапуска. Например, чтобы добавить второй IPv4-адрес к запущенной клетке:

jail(8) отмечает, что «некоторые параметры нельзя изменить в работающей клетке»; на практике это включает path и vnet, для изменения которых требуется перезапуск клетки.

Наконец, -e отображает все настроенные не-шаблонные клетки и их параметры без создания, изменения или удаления чего-либо, что удобно для проверки файла конфигурации. В качестве аргумента она принимает строку, используемую для разделения параметров:

Клетка в значительной степени самодостаточна, поэтому её резервное копирование или перенос на другой хост в основном сводится к копированию её файлов и её конфигурации.

Остановите клетку сначала для получения консистентной копии; клетку на основе ZFS можно вместо этого сделать снимок во время её работы. Для клетки на собственном наборе данных ZFS выполните рекурсивный снимок и передайте его на целевой хост:

Полная механика zfs-send(8) и zfs-receive(8), включая инкрементальные передачи, описана в Репликация.

Для клетки на файловой системе UFS используйте tar(1) с опцией -p, чтобы сохранить владельца, права доступа и флаги файлов:

Извлеките архив как root на целевой системе с помощью tar -xpf, чтобы сохранились флаги. dump(8) и restore(8) являются альтернативой, когда клетка занимает выделенную файловую систему UFS; они работают с целыми файловыми системами, поэтому не применимы к структуре, используемой в этой главе, где все клетки являются каталогами в одной общей файловой системе.

Наконец, скопируйте блок строк, относящихся к клетке, из /etc/jail.conf — или его файл в /etc/jail.conf.d — на новый хост, настройте любые параметры, специфичные для хоста, такие как interface, ip4.addr или мост, используемый клеткой VNET, и запустите клетку там.

Клетки должны обновляться их операционной системы хоста. В FreeBSD по умолчанию запрещено использование chflags(1) в клетке. Это предотвращает обновление некоторых файлов, поэтому обновление изнутри клетки завершится ошибкой.

Для обновления клетки до последнего патч-релиза версии FreeBSD, под которой он работает, выполните следующие команды на хосте:

Для обновления клетки до новой основной или промежуточной версии сначала обновите хост-систему, как описано в Выполнение обновлений основной и промежуточной версий. После обновления и перезагрузки хоста можно обновить клетку.

Например, для обновления с классической клетки до 15.1-RELEASE выполните следующие команды на хосте:

Затем, если это было обновление основной версии, переустановите все установленные пакеты и перезапустите клетку снова. Это необходимо, потому что версия ABI изменяется при обновлении между основными версиями FreeBSD.

С хоста:

Тонкие клетки, созданные в Создание тонкой клетки с помощью снимков OpenZFS, являются клонами OpenZFS снимка шаблона, но после создания клон независим от этого шаблона. Обновление шаблона не обновляет клетки, которые уже были клонированы из него, а обновление клона не обновляет шаблон. Поэтому существует два способа поддерживать эти клетки в актуальном состоянии.

Первый вариант — обновить каждый клон на месте с помощью freebsd-update(8), точно так же, как и для классической клетки, как описано в Обновление классической клетки или тонкой клетки с использованием снимков OpenZFS. Это самый простой подход для нескольких клеток, но каждый пропатченный клон отклоняется от шаблонного снимка: изменённые блоки дублируются для каждой клетки, что сокращает экономию места, а крупное обновление переписывает так много пользовательского окружения, что большая часть совместного использования теряется.

Второй вариант сохраняет совместное использование, обновляя шаблон и повторно клонируя его. Обновите шаблон до последнего уровня исправлений на хосте:

Затем создайте новый снимок и клонируйте будущие клетки из него:

Существующие клоны сохраняют базу, из которой они были созданы, до тех пор, пока они не будут пересозданы из нового снимка. Для обновления основной или дополнительной версии создайте новый шаблонный набор данных для нового выпуска, следуя разделу Создание тонкой клетки с помощью снимков OpenZFS, вместо обновления существующего шаблона на месте, и клонируйте новые клетки из его снимка @base.

Поскольку тонкие клетки, использующие NullFS, разделяют большинство системных каталогов, их очень легко обновлять. Достаточно обновить шаблон. Это позволяет обновлять несколько клеток одновременно.

Для обновления шаблона до последнего патч-релиза версии FreeBSD, на которой он работает, выполните следующие команды на хосте:

Для обновления шаблона до новой основной или промежуточной версии сначала обновите хост-систему, как описано в Выполнение обновлений основной и промежуточной версий. После обновления и перезагрузки хост-системы можно обновить шаблон.

Поскольку хост-система была обновлёна первой, freebsd-update(8) с -b в противном случае обнаружил бы новый выпуск хост-системы, а не более старый выпуск шаблона: -b считывает текущую версию из uname -r хост-системы, в отличие от -j, который определяет собственную пользовательскую среду клетки. Передайте --currently-running <release-шаблона>, чтобы шаблон был обновлён с его фактического выпуска. Следующий пример обновляет шаблон, работающий на 14.2-RELEASE, до 14.3-RELEASE; подставьте применимые выпуски:

Клетки, установленные из базовых пакетов, доступных с FreeBSD 15.0, обновляются с помощью pkg(8) через репозиторий FreeBSD-base, а не с помощью freebsd-update(8).

Репозиторий FreeBSD-base определён в /etc/pkg/FreeBSD.conf, но по умолчанию отключён в FreeBSD 15.0, поэтому включите его перед обновлением.

С хост-системы укажите pkg(8) на корневой каталог клетки с помощью -r (--rootdir):

Тот же самый апгрейд можно выполнить изнутри клетки с помощью jexec(8) и обычной команды pkg upgrade:

pkg(8) выполняет трехстороннее слияние размеченных конфигурационных файлов в /etc. Когда слияние не может быть завершено автоматически, он оставляет новую версию как <file>.pkgnew, а когда он забирает файл, который ранее не был упакован, он сохраняет старую копию как <file>.pkgsave. Проверьте /etc после обновления и вручную согласуйте любые такие файлы. Не запускайте etcupdate(8) в системе pkgbase; pkg(8) сам обрабатывает слияние конфигураций. Смотрите Обновление и модернизация FreeBSD для описания рабочего процесса с базовыми пакетами на стороне хоста.

rctl(8) с ограничением pcpu определяет, сколько времени ЦП может потреблять клетка, но она не привязывает клетку к конкретным ядрам; cpuset(1) вместо этого назначает конкретные ядра.

Ограничить работающую клетку набором CPU по её имени или JID:

Запросить ядра, которые клетка в настоящее время может использовать, с помощью -g:

Назначенный набор также отображается в столбце cpuset команды jls -v. В файле jail.conf нет параметра для привязки к процессору, поэтому закрепите клетку при запуске, выполнив cpuset(1) из хука exec.created или exec.poststart, оба из которых выполняются в среде хоста:

rctl(8) не имеет ресурса для файлового пространства. Когда каждая клетка находится в собственном наборе данных ZFS, ограничьте и гарантируйте использование дискового пространства с помощью квот и резервирований ZFS вместо этого:

Для этого требуется, чтобы клетка была собственным набором данных. Созданные ранее тонкие клетки ZFS уже таковыми являются, но процедура Классической Клетки создает каталог клетки с помощью mkdir внутри общего набора данных containers, поэтому сначала создайте его с помощью zfs create, чтобы эти команды применялись. См. Настройка дерева каталогов клетки для структуры наборов данных и zfs-set(8) для свойств quota и reservation.

Параметры allow.* являются логическими значениями, которые предоставляют отдельные привилегии клетке. Согласно jail(8), "За исключением allow.set_hostname и allow.reserved_ports, эти логические параметры по умолчанию выключены", поэтому клетка запускается в заблокированном состоянии, и каждая возможность должна быть предоставлена явно.

Взвесьте каждое послабление относительно того, что оно открывает: allow.raw_sockets позволяет процессам в клетке подделывать пакеты, allow.chflags позволяет root в клетке снимать флаги неизменяемости и только для добавления, на которые полагается хост-система, а allow.mount открывает пространство имён файловой системы.

Запуск NFS-сервера внутри клетки, отмеченный в примечаниях к выпуску FreeBSD 14.0, требует установки параметра allow.nfsd, VNET-клетки, корневой каталог которой сам является точкой монтирования файловой системы, а также параметра enforce_statfs, не установленного в значение 0.

Базы данных и другое программное обеспечение, которое полагается на разделяемую память System V, семафоры и очереди сообщений, управляются по модулям с помощью параметров sysvmsg, sysvsem и sysvshm. Каждый из них принимает одно из трёх значений: inherit делает все объекты IPC узла видимыми для клетки, new предоставляет клетке собственное частное пространство имён ключей, а disable приводит к сбою этих системных вызовов.

Для классического случая запуска PostgreSQL в клетке, выбор new является правильным, предоставляя базе данных собственное пространство имён разделяемой памяти, не раскрывая пространство хост-системы:

Устаревший параметр allow.sysvipc больше не используется. Он эквивалентен установке всех трех параметров модуля в значение inherit, что разделяет общесистемное пространство имен IPC с клеткой, поэтому предпочтительнее использовать указанные выше параметры для каждого модуля.

allow.mount позволяет клетке монтировать файловые системы, а семейство дочерних параметров выбирает, какие именно типы: allow.mount.devfs, allow.mount.fdescfs, allow.mount.fusefs, allow.mount.nullfs, allow.mount.procfs, allow.mount.linprocfs, allow.mount.linsysfs, allow.mount.tmpfs и allow.mount.zfs. Согласно jail(8), каждый дочерний параметр «действует только вместе с allow.mount и только когда enforce_statfs установлен в значение ниже 2». Удобные параметры mount.devfs, mount.fdescfs и mount.procfs автоматически монтируют соответствующие файловые системы для клетки, а mount.fstab указывает на файл fstab с дополнительными точками монтирования.

Параметр enforce_statfs управляет как тем, какие точки монтирования может видеть клетка, так и, согласно приведенному выше правилу, тем, действуют ли разрешения allow.mount.*. Он принимает три значения:

Поскольку для прав allow.mount.* требуется значение ниже 2, клетка, которой необходимо монтировать собственные файловые системы, обычно настраивается с параметром enforce_statfs = 1.

Параметр securelevel устанавливает значение kern.securelevel для клетки и повышает уровень защиты ядра от изменений флагов и устройств внутри клетки. Согласно jail(8), «клетка никогда не имеет более низкого уровня securelevel, чем её родительская система, но, установив этот параметр, она может иметь более высокий». Таким образом, клетка, обращённая к сети, может работать при ужесточённом securelevel = 3, в то время как хост-система остаётся на уровне по умолчанию.

Клетка сама может создавать дочерние клетки, именно так строятся вложенные или иерархические структуры клеток. Параметр children.max задаёт, сколько дочерних клеток может создать клетка; по умолчанию он равен 0, что означает отсутствие разрешения на создание дочерних клеток, а доступный только для чтения параметр children.cur сообщает, сколько их существует в данный момент. Дочерняя клетка никогда не может превысить привилегии своего родителя: согласно jail(8), «Процессы, находящиеся в клетке, не имеют права предоставлять большие полномочия, чем те, которые даны им самим». Это делает возможным запуск менеджера клеток внутри клетки.

По умолчанию клетка существует только пока в ней есть запущенные процессы; когда её последний процесс завершается, клетка исчезает. Установка параметра persist, по словам jail(8), «позволяет клетке существовать без каких-либо процессов». Именно это поддерживает клетку в живых после её создания пустой и до того, как в неё будет что-либо помещено, а также закрепляет VNET-клетку, которая хранит только сетевое состояние. Клетка может быть создана пустой и поддерживаться в живых для экспериментов:

Сбросьте флаг с помощью nopersist, чтобы клетка могла быть удалена после того, как снова станет неактивной.

Пользовательское окружение клетки может быть старше, чем ядро хост-системы, но инструменты внутри нее все равно читают версию хост-системы через uname(1), если не указано иное. Параметр osrelease задает строку, сообщаемую через kern.osrelease и uname -r клетки, а osreldate задает число, сообщаемое через kern.osreldate и uname -K. Установка их таким образом, чтобы более старое пользовательское окружение сообщало о собственной версии, обеспечивает корректную работу uname(1), потребителей sysctl(8) и инструментов сборки, определяющих версию, включая freebsd-update(8), запускаемый внутри клетки. Управление пакетами не затрагивается ни в ту, ни в другую сторону, потому что pkg(8) получает свой ABI из ELF-заметок собственных бинарных файлов клетки, а не из uname(1). Это дополняет правило, согласно которому пользовательское окружение клетки никогда не может быть новее, чем ядро хоста; см. Обновление клеток.

Этот метод работает на всех поддерживаемых выпусках FreeBSD.

На хост-системе создайте набор данных для делегирования и пометьте его как клетку:

Установка свойства jailed сообщает ZFS, что набор данных будет управляться изнутри клетки, поэтому хост-система автоматически перестаёт его монтировать.

Далее, разрешите клетке монтировать файловые системы ZFS и присоединять набор данных при создании клетки. Добавьте следующее в раздел клетки в /etc/jail.conf:

Права allow.mount.zfs действуют только вместе с allow.mount и значением enforce_statfs ниже 2; см. More Jail Options для прав на монтирование и их взаимодействия с enforce_statfs. Поскольку делегированный набор данных отсоединяется при остановке клетки, хук exec.created повторно присоединяет его при каждом запуске, где ${name} расширяется до имени клетки. То же присоединение можно выполнить к уже запущенной клетке с помощью команды zfs jail <jid|name> zroot/jails/data.

Внутри клетки смонтируйте делегированные наборы данных и управляйте ими как любыми другими:

root-пользователь в клетке может создавать, делать снимки, клонировать и откатывать наборы данных в делегированном дереве, но свойство quota делегированного набора данных может быть установлено только с хоста-системы.

Начиная с FreeBSD 15.0, jail(8) может самостоятельно подключать наборы данных, устраняя необходимость в ручных шагах jailed и zfs jail. Перечислите наборы данных для делегирования в параметре zfs.dataset:

jail(8) присоединяет каждый перечисленный набор данных при запуске клетки, поэтому показанный выше хук exec.created больше не требуется. Этот параметр требует, чтобы было установлено значение allow.mount.zfs.

Для неустаревших менеджеров клеток, которые еще не понимают zfs.dataset, стартовый сценарий rc.d/jail также учитывает устаревшую переменную jail_<jailname>_zfs_dataset в /etc/rc.conf.

Параметр zfs.mount_snapshot, доступный в FreeBSD 14.x и 15.x, позволяет пользователям внутри клетки получать доступ к содержимому снимков без делегирования всего набора данных. Когда он установлен в значение 1, пользователи клетки могут читать содержимое снимков файловой системы в её каталоге .zfs/snapshot:

Это удобно для восстановления отдельных файлов из снимков, сделанных на хост-системе. Если также установлено allow.mount.zfs, снимки могут быть дополнительно смонтированы внутри клетки. Свойство snapdir набора данных управляет тем, будет ли виден каталог .zfs.