Перейти к содержанию

Наборы данных ZFS

Наборы данных ZFS — записи в списке Резервные копии, как контейнеры и виртуальные машины. Запись — это один набор данных вместе с каждым набором под ним. Для каждой копии BombVault делает один снимок ZFS всего дерева, так что каждый набор в нём фиксируется в один и тот же момент. Затем он читает файлы каждого набора данных из этого снимка и сохраняет их через restic так же, как сохраняет папку, а сразу после этого удаляет снимок. Копии дедуплицируются, каждую из них можно просматривать, а отдельные файлы можно восстанавливать.

Копия никогда не отправляет поток в restic и никогда не откатывает набор данных. BombVault уничтожает только снимки, которые создал сам. Необязательная реплика — единственное место, где используется zfs send: она копирует наборы данных на второй сервер ZFS и копию не затрагивает.

Требования

  • SSH-соединение с этим сервером. Наборы данных ZFS используют тот же ключ, хост и пользователя, что и копии виртуальных машин. Если копии виртуальных машин уже работают, то работает и это. Иначе следуйте руководству по копированию виртуальных машин через SSH. Поля шаблона называются Host SSH: Address, Host SSH: Port и Host SSH: User.
  • Команда zfs на этом хосте. Она есть в Unraid 6.12 и новее и в TrueNAS SCALE.
  • Host Data, подключённый как /mnt с режимом доступа Read/Write - Slave. Это значение шаблона по умолчанию. Снимок набора данных появляется в папке .zfs/snapshot набора только после запуска BombVault, поэтому контейнер должен получать монтирования, которые хост делает позже.
  • Наборы данных, смонтированные ниже /mnt. В Unraid пулы лежат в /mnt/<pool>, так что это уже так.

Включите раздел в Настройки, Общие (Наборы данных ZFS). Соединение ZFS с этим сервером в Ещё на странице «Резервные копии» затем открывает Соединение с этим сервером. Оно проверяет SSH-соединение, называет пользователя и хост, к которым подключается, и говорит, чего не хватает, если чего-то нет. Когда соединение не работает, список «Резервные копии» сообщает об этом кнопкой Показать соединение, а карточка Интеграция с хостом в обзоре показывает тот же результат.

Записи и дочерние наборы данных

Выберите Добавить на странице «Резервные копии», затем Набор данных ZFS. Список приходит с сервера. Выберите набор данных, стоящий в начале того, что вы хотите копировать, например cache/appdata, и запись охватит его и каждый набор под ним.

  • Новые дочерние наборы данных присоединяются сами. Набор данных, созданный позже ниже записи, копируется при следующем запуске, и этот запуск называет его новым. Его первая копия читает его целиком один раз. После этого читаются только изменения.
  • Отдельные дочерние наборы можно исключить. Выключите дочерний набор на вкладке записи «Настройки», и он будет исключён вместе со всем, что под ним. Исключённый дочерний набор, которого на сервере больше нет, помечается как таковой, и его можно убрать из списка.
  • Дочерние наборы, которые нельзя прочитать, пропускаются, но не молча. Запуск перечисляет их, запись показывает, сколько пропущено, а карточка Без резервной копии в обзоре считает каждый как незащищённый. Запуск всё равно копирует всё остальное и не завершается ошибкой из-за пропущенного дочернего набора. Причины перечислены в таблице кодов причин: набор данных не смонтирован, у него canmount=off, legacy или нет точки монтирования, не загружен ключ шифрования, доступ к снимкам выключен или точка монтирования, которую BombVault не видит.
  • Пропущенный набор данных не тянет за собой своих потомков. Набор данных с canmount=off, который только содержит другие наборы, пропускается (показывается как «только структура»), а его смонтированные дочерние наборы копируются. Зашифрованный набор данных, ключ которого не загружен, пропускается вместе с дочерними наборами, у которых тот же ключ.
  • Дочерние наборы, которые являются дисками виртуальных машин или системными данными, сначала выключены в окне добавления, с причиной рядом с переключателем. Добавление целого пула просит подтверждения со списком того, что в нём содержится.

Тома

Том (zvol) содержит виртуальный диск, а не файлы, и запись ZFS никогда его не копирует.

  • Том, который использует виртуальная машина, копируется вместе с этой виртуальной машиной.
  • Том, который не использует ни одна виртуальная машина (экстент iSCSI, отключённый диск), BombVault не копирует. Окно добавления и страница «Резервные копии» считают такие тома и говорят об этом. Более поздняя версия будет их копировать.

Тома внутри дерева записи пропускаются и называются при каждом запуске.

Хранилище Docker

С драйвером хранилища ZFS в Docker каждый слой образа — набор данных с точкой монтирования legacy. Окно добавления сворачивает их в одну строку на родителя. Дерево, в котором больше 20 таких наборов, не может стать записью: пока существует его снимок, Docker не может удалять слои образов. Добавьте вместо этого наборы данных под ним, например appdata.

Записи никогда не пересекаются

Набор данных может принадлежать только одной записи. BombVault отказывается создавать новую запись, которая лежит внутри существующей или содержала бы её. Чтобы объединить несколько дочерних записей в одну родительскую, сначала удалите дочерние записи, выбрав сохранение их копий, а затем добавьте родительскую. Каждый набор данных хранит свою историю под своим именем, так что следующая копия продолжает с того места, где остановились старые записи, и не читает всё заново.

Остановка контейнеров и команды вокруг снимка

Снимок работающей базы данных подобен внезапному отключению питания: база данных обычно восстановится, но ей приходится это делать. Каждая запись может сделать для этого две вещи, и обе охватывают только момент снимка, а не всю копию.

  • Останавливать эти контейнеры на время снимка. BombVault останавливает перечисленные контейнеры, делает снимок и сразу запускает их снова. Контейнеры одного уровня зависимостей останавливаются параллельно, сначала зависимые, так что всё окно обычно занимает несколько секунд. Запуск показывает, сколько оно длилось. Затем копия читает замороженный снимок, пока приложения уже снова работают. Останавливаются только контейнеры, которые работали.
  • Команда до и после снимка. Она выполняется внутри выбранного вами контейнера, например чтобы выгрузить базу данных в набор данных прямо перед снимком, ничего не останавливая. Если команда перед снимком завершилась ошибкой, копия завершается ошибкой, и снимок не делается. Команда после снимка, завершившаяся ошибкой, показывается в запуске, но копию не проваливает.

Что происходит, когда что-то идёт не так:

  • Если контейнер не удаётся остановить, BombVault запускает те, что уже остановил, а копия завершается ошибкой с названием контейнера. Он никогда не переходит к снимку работающих приложений.
  • Остановка ждёт окончания идущей копии контейнера (до 30 минут для ручного запуска, до предела времени копирования для планового), так что оба никогда не останавливают и не запускают один и тот же контейнер одновременно.
  • Прежде чем остановится первый контейнер, BombVault записывает, какие он останавливает. Если BombVault убит внутри окна, он запускает эти контейнеры снова при следующем запуске, отправляет уведомление, а запись показывает красную заметку о любом контейнере, который не удалось запустить.

Автоматические дампы баз данных выполняются вместе с копией самого контейнера, а не с записью ZFS. База данных, контейнер которой копируется только через свой набор данных, дампа не получает, поэтому дайте ей здесь команду.

Контейнер может быть в этом списке и одновременно копироваться как контейнер. Тогда его данные хранятся дважды, в двух репозиториях, а полный бэкап останавливает его дважды. Запись об этом говорит.

Восстановление

Откройте запись и выберите Восстановить или выберите её на странице Восстановление. Окно восстановления спрашивает копию, затем Набор данных. По умолчанию это верхний набор данных записи. В Что вы восстанавливаете всё или только выбранные файлы и папки. Куда предлагает:

  • Восстановить в сам набор данных. Файлы из копии записываются в точку монтирования набора данных. Файлы с тем же именем перезаписываются, остальные остаются. Набор данных никогда не откатывается и не заменяется. BombVault проверяет, что набор данных смонтирован, виден и доступен для записи, один раз перед началом и снова прямо перед записью. Там, где внутри него смонтирован дочерний набор данных, ничего не записывается: дочерний набор сохраняет свои файлы, владельца и права и восстанавливается из собственной копии.
  • В папку. Выберите папку ниже /mnt. BombVault проверяет, что папка находится на смонтированном пуле или общем ресурсе и что свободного места достаточно. Это работает без SSH-соединения и для наборов данных, которых больше нет.
  • В новый набор данных. Назовите набор данных, которого ещё нет. Окно предлагает <dataset>-restored. BombVault создаёт его со свойствами ZFS, сохранёнными в копии, и восстанавливает в него, см. Восстановление как новый набор данных.

Выбор Все наборы данных этой копии в качестве набора данных записывает каждый набор данных дерева в собственную подпапку выбранной вами папки. Наборы данных, которые в этой копии были пропущены, называются. Чтобы восстановить из репозитория другого BombVault, воспользуйтесь Из старой папки с копиями на странице «Восстановление». Оно всегда восстанавливает в папку: все наборы данных одной копии, каждый в свою подпапку, или один набор данных дерева, целиком или выбранные файлы.

Список контейнеров для остановки у записи предлагается и при восстановлении в сам набор данных. Эти контейнеры остаются остановленными на всё восстановление, а копии контейнеров тем временем ждут.

Страховочный снимок

Прежде чем писать в набор данных, BombVault делает снимок ZFS именно этого набора данных с именем bombvault-prerestore-<time>. Сначала сохранить снимок ZFS нынешнего состояния включено по умолчанию. Чтобы его выключить, нужно второе подтверждение. Если снимок сделать не удаётся, ничего не восстанавливается.

BombVault никогда не удаляет страховочный снимок сам. Запись перечисляет их с возрастом и размером и действием Удалить у каждого, а когда самому старому больше 30 дней, предупреждает, потому что он держит на пуле удалённые и изменённые данные.

Чтобы вернуться после восстановления, скопируйте отдельные файлы из .zfs/snapshot/bombvault-prerestore-<time> внутри набора данных. zfs rollback <dataset>@bombvault-prerestore-<time> работает, только пока это самый новый снимок этого набора данных. zfs rollback -r удаляет каждый более новый снимок, в том числе автоматические.

Восстановление как новый набор данных

BombVault с каждой копией сохраняет локально заданные свойства ZFS каждого набора данных: сжатие, размер записи, квоту, резервирование, atime, xattr, acltype, чувствительность к регистру и ваши собственные пользовательские свойства. Унаследованные и доступные только для чтения значения опускаются, потому что они возвращаются сами. У копий, сделанных до того, как BombVault стал их сохранять, их нет.

  • В новый набор данных выполняет zfs create со всеми сохранёнными свойствами. Чувствительность к регистру, нормализацию и utf8only можно задать только так. Квоты и резервирования задаются после файлов, так что они не могут их отклонить. Точка монтирования опускается, чтобы копия не сталкивалась с оригиналом, как и canmount, readonly и настройки шифрования, чтобы восстановление могло писать. Новый набор данных под зашифрованным перенимает его шифрование. Набор данных над новым должен существовать. Если что-то не удалось после создания нового набора данных, он остаётся на сервере, потому что BombVault никогда не уничтожает набор данных.
  • Восстановить в сам набор данных перечисляет сохранённые свойства рядом с восстановлением. Задать и эти свойства задаёт те, которые существующий набор данных ещё может принять, до записи любого файла. Квоты и резервирования задаются после файлов, так что они не могут их отклонить. Без этого переключателя набор данных сохраняет свои настройки.

Что входит в копию

В копии: файлы и папки каждого скопированного набора данных с их владельцем, правами, временными метками и расширенными атрибутами так, как их хранит restic, и локально заданные свойства ZFS каждого набора данных.

Не входит в копию:

  • владелец и права самой верхней папки каждого набора данных (всё под ней входит). Восстановление в сам набор данных оставляет существующую верхнюю папку как есть, восстановление в папку создаёт её с режимом 0755,
  • существующие снимки ZFS,
  • дочерние наборы, которые были пропущены или исключены,
  • тома.

Чтобы восстановить на новый пул, создайте пул и восстановите каждый набор данных в новый набор данных. Вернутся ли ACL NFSv4, как их использует TrueNAS на наборах данных SMB, так, как вы ожидаете, пока не проверено, поэтому проверьте восстановление на своих данных, прежде чем на них полагаться.

Зашифрованные наборы данных

Зашифрованный набор данных копируется, только пока загружен его ключ. Иначе он пропускается с предупреждением. Загрузите ключ через zfs load-key и смонтируйте набор данных. BombVault читает данные расшифрованными и сохраняет их в репозитории restic, который зашифрован. Если вы выключили шифрование в BombVault, этот репозиторий не зашифрован.

Реплика

Реплика — копия наборов данных записи на втором сервере ZFS. BombVault поддерживает её актуальной через zfs send и zfs receive. Первый запуск отправляет всё, после этого передаются только изменившиеся блоки. На другом сервере копию можно сразу смонтировать.

Реплика никогда не заменяет копию. Более старые версии, отдельные файлы и проверка по-прежнему берутся из копий, а реплика хранит ровно столько снимков, сколько вы задали. Актуальная реплика считается копией вне сервера, но не резервной копией.

Реплика не ждёт копию. После каждой копии означает после запуска копирования записи, удался ли он, не удался или ему нечего было делать. Когда у раздела ZFS не включено ни одно место назначения, а у записи нет собственного репозитория, запуск копирования записи только отправляет реплику, и карточка «Реплика» говорит об этом в подсказке рядом с Когда. Список «Резервные копии», шапка записи и история запусков показывают реплику: Реплицируется, пока она идёт, и Реплицировано со временем, когда она закончилась.

Только реплика, без резервной копии в карточке «Реплика» заставляет весь раздел ZFS отправлять реплики и не делать копий. Собственная папка и внешние места назначения сохраняют свои переключатели, так что выключение снова копирует в них, а карточка каждой записи ZFS показывает переключатель раздела в его текущем положении. Такая запись ждёт первой реплики вместо копии, Создать резервную копию предлагается как Реплицировать сейчас, а контейнеры записи останавливаются и её команды выполняются вокруг снимка, как при копии. Её реплики считаются для расписания «раз в несколько дней», оповещения о просрочке и охвата.

Включите её в карточке Реплика на вкладке записи «Настройки». Карточка перечисляет каждый набор данных и том с его состоянием, а Реплицировать сейчас запускает прогон. У прогона реплики своя блокировка, так что долгая первая передача никогда не задерживает копии.

Поле Что задаёт
Реплицируется на Цель: сервер ZFS (помечен по SSH) или сопряжённый экземпляр. Добавить сервер ZFS настраивает новый.
Когда После каждой копии, то есть после запуска копирования записи, или Собственный план.
Хранить на целевом сервере Сколько снимков остаётся на сервере ZFS: Коротко, Средне, Долго или Свои значения. Сопряжённый экземпляр решает это сам.
Хранить на этом сервере Сколько самых новых снимков реплики остаётся и на этом сервере. 0 или 1 хранит только последний.
Только реплика, без резервной копии Весь раздел ZFS отправляет реплики и не делает копий.

Карточка «Реплика» записи ZFS. Карточка «Реплика» записи ZFS.

Реплицировать всё сейчас рядом с действиями копирования, когда на странице «Резервные копии» выбрана плитка ZFS, отправляет реплику каждой записи ZFS, одну за другой. Пакет выполняет сервер, поэтому он продолжается, когда вы покидаете страницу, а запись, которая не может реплицироваться, называется и пропускается.

Отправка на сервер ZFS

Принимать может любая машина с ZFS и SSH, например второй Unraid или TrueNAS. BombVault там запускать не обязательно.

  1. В Настройки, Сопряжение выберите Подключить по SSH в Сервер ZFS без BombVault или Добавить сервер ZFS в карточке Реплика записи.
  2. Введите адрес, пользователя и порт. Окно показывает открытый ключ BombVault. Добавьте его в ~/.ssh/authorized_keys пользователя на сервере. В Unraid это в Users, root, SSH keys. В зависимости от Display Settings Users находится в меню в шапке или в Settings. В TrueNAS измените пользователя в Credentials, Users. Это ключ реплики. Он отличается от ключа SSH-соединения для виртуальных машин и хоста, поэтому добавьте его, даже если тот уже авторизован.
  3. Проверьте соединение. Затем окно перечисляет пулы сервера. Выберите один и задайте корень, по умолчанию <pool>/bombvault-replica.
  4. Выберите новый сервер в карточке Реплика записи. После этого у сервера появляется собственная карточка на странице «Экземпляры», а Открыть ведёт на его страницу.

С root больше ничего не нужно. Отдельному пользователю нужны эти права на пул цели, которые окно тоже показывает:

zfs allow <user> receive,create,mount,rollback,destroy,userprop,readonly,canmount <pool>

На источнике пользователю того же рода нужны эти права на верхний набор данных записи:

zfs allow <user> send,snapshot,hold,release,bookmark,destroy,mount <dataset>

В этом направлении BombVault, который держит запись, держит и ключ, который может писать на сервере.

BombVault закрепляет ключ хоста, который показывает сервер при первом подключении, и позже отказывается от другого. Если сервер переустановили, нажмите Забыть ключ хоста на странице сервера, и при следующем подключении закрепится новый ключ.

Когда хост этого сервера сам может достучаться до сервера ZFS, он направляет zfs send прямо в собственный ssh к серверу с ключом реплики и закреплённым ключом хоста, так что поток не проходит через BombVault. Иначе поток идёт через BombVault.

Отправка на сопряжённый экземпляр

Сопряжённый BombVault может принимать реплику сам. Никто не получает SSH-доступ к другому хосту, и никакой ключ не попадает в файл authorized_keys.

  1. В карточке Реплика записи выберите сопряжённый экземпляр целью или включите роль Сервер ZFS на карточке этого экземпляра на странице «Экземпляры» и выберите там записи ZFS. Карточка показывает Ожидает одобрения, пока он не ответит.
  2. На принимающем экземпляре откройте Экземпляры. Запрос показывается на карточке отправляющего экземпляра значком, а его Подробнее перечисляет его. Выберите пул и корень на этом сервере и сколько снимков остаётся, затем нажмите Разрешить или Отклонить.
  3. После Разрешить источник отправляет по своему плану, как на любую другую цель.

Принимающий экземпляр принимает только то, что охватывает одобрение: наборы данных записи в его собственный корень. Он сам выполняет zfs receive, а у источника нет способа что-либо там удалить или откатить. Так копия переживает источник, которым кто-то завладел. Принимающий экземпляр хранит по своим правилам. Источник лишь предлагает правило, когда просит. Такой источник по-прежнему может присылать новые снимки, и со временем они вытесняют более старые по правилу, как любые другие. Снимок, в имени которого стоит дата позже часов принимающего экземпляра, не учитывается правилом, пока это время не наступит.

Отозвать доступ на принимающем экземпляре в любой момент завершает одобрение и сообщает источнику, который затем показывает, что одобрение отозвано, и останавливается. То, что принимающий экземпляр уже держит, остаётся там. Отклонённый запрос остаётся отклонённым. Больше наборов данных или запрос после отзыва спрашивают снова.

Принимающий экземпляр должен отвечать по HTTPS. Источник ничего не отправляет на обычный адрес http, поскольку токен и данные шли бы по сети незашифрованными. Каждая передача также оставляет свободной десятую часть принимающего пула и останавливается, прежде чем залезет в неё, так что один источник не может заполнить пул принимающего сервера.

Куда попадают данные

Каждый набор данных попадает в <root>/<server>/<pool>/<path>. Папка сервера — это имя экземпляра-источника, фиксируемое при первой передаче, так что два сервера с одинаковым названием пула никогда не мешают друг другу. Например, cache/appdata сервера под названием tower оказывается в backup/bombvault-replica/tower/cache/appdata.

После повторной настройки BombVault цель отказывается принимать папку, которую этот BombVault заполнил раньше. Тогда карточка «Реплика» предлагает Забрать папку, и следующая реплика продолжается с копий в ней. Забирайте её, только если ни один другой BombVault больше не реплицирует в эту папку.

Копия на цели доступна только для чтения. По умолчанию она не монтируется, так что никогда ничего не перекрывает на том сервере. У сервера ZFS, подключённого по SSH, на его странице есть переключатель Монтировать на сервере только для чтения: когда он включён, BombVault после каждого прогона монтирует там копии только для чтения, так что вы можете читать и копировать их файлы на цели. Зашифрованные копии остаются заблокированными, пока не загружен их ключ, а выключение ничего не размонтирует. Сопряжённый экземпляр, принимающий реплику, держит её немонтированной. Свойства ZFS передаются вместе, кроме точки монтирования, sharenfs и sharesmb. Резервирования reservation и refreservation тоже остаются позади, так что копия занимает только то место, которое нужно её данным.

Что входит

Входит всё, что копирует запись, а также тома под ней, которые копия пропускает. Дочерний набор данных, который вы выключили в записи, остаётся вне. Все наборы данных одного прогона берутся из одного снимка, как в копии.

Копия, которую другой BombVault реплицирует на этот сервер, дальше не отправляется, потому что это проредило бы историю, которая ещё нужна её источнику. Если в дереве записи есть такая копия, запуск для этого набора данных завершается ошибкой и объясняет причину, пока вы не выключите её в записи. Запись, которая сама является такой копией, реплицироваться не может вовсе. Удаление записи или выключение её реплики не трогает такие копии и их снимки. Когда вы берёте копию себе, как описано в разделе Как пользоваться репликой, она считается обычным набором данных.

Как долго хранятся снимки

На цели новая реплика хранит 7 ежедневных и 3 еженедельных снимка. Выберите вместо этого Коротко, Средне или Долго или задайте Свои значения. Свои значения из одних нулей хранят все снимки, и карточка об этом говорит. Там удаляются только снимки с именем bombvault-replica-<14 digits>, и никогда самый новый, который общий для обеих сторон.

На источнике BombVault хранит последний снимок реплики плюс закладку для каждого отправленного состояния. Закладки не занимают места. Следующая передача начинается с них.

Чтобы хранить больше и на источнике, задайте Хранить на этом сервере в карточке «Реплика», например 7. Тогда столько самых новых снимков реплики остаётся на этом сервере после каждой реплики, рядом с тем, что хранит цель. 0 или 1 хранит только последний. На последнем стоит удержание (hold), чтобы основа следующей передачи не была уничтожена случайно. На старых его нет. Каждый снимок удерживает блоки, изменившиеся после него, поэтому каждый хранимый снимок занимает место на пуле. Выключение реплики или переход на другую цель, а также удаление записи убирают их и с этого сервера. Снимки другой записи, вложенной ниже, остаются. Если хост недоступен, пока вы удаляете запись, снимки тоже остаются, и страница об этом говорит. Удалите их вручную: zfs release -r bombvault-replica <dataset>@<snapshot>, затем zfs destroy.

Файлы хранимого снимка можно сразу прочитать или скопировать из папки .zfs/snapshot внутри набора данных или из клона, не трогая набор данных или реплику:

ls /mnt/cache/appdata/.zfs/snapshot/bombvault-replica-20261006014100
zfs clone cache/appdata@bombvault-replica-20261006014100 cache/appdata-20261006

Клон не занимает места, пока в нём что-то не изменится. Уничтожьте его командой zfs destroy cache/appdata-20261006, когда закончите, потому что снимок, у которого есть клон, удалить нельзя.

Чтобы вернуться к последнему снимку реплики, здесь нужен только zfs rollback cache/appdata@<latest>, а на цели ничего. Откат всего набора данных к более старому снимку уничтожает каждый снимок после него, на этом сервере и на цели. Последний удерживается, поэтому сначала снимите его удержание, затем откатите набор данных здесь:

zfs release -r bombvault-replica cache/appdata@bombvault-replica-20261008014200
zfs rollback -r cache/appdata@bombvault-replica-20261006014100

Копию на цели тоже нужно откатить, но не всегда к тому же снимку, поскольку её собственные правила хранения могли его удалить. Запустите реплику один раз. Она остановится для этого набора данных, потому что на цели есть более новые снимки, а карточка «Реплика» и история запусков назовут снимок, к которому нужно откатить цель: самый новый из тех, что у обеих сторон ещё общие. Откатите копию к нему на сервере ZFS или на хосте сопряжённого экземпляра, принимающего реплику, например:

zfs rollback -r backup/bombvault-replica/tower/cache/appdata@bombvault-replica-20261005014000

zfs rollback работает с одним набором данных, поэтому повторите откаты для каждого дочернего набора, который вы тоже хотите вернуть. После этого Реплицировать сейчас продолжает с общего снимка.

Зашифрованные наборы данных в реплике

Зашифрованный набор данных отправляется в сыром виде. На цели он остаётся зашифрованным, и цель никогда не видит ключа. Берегите ключ: он нужен, чтобы открыть копию после восстановления, а реплика без него нечитаема.

Как пользоваться репликой

Откройте вкладку записи Резервные копии и щёлкните строку реплика ZFS среди мест, где хранятся её снимки. Лист перечисляет снимки на цели и показывает команды с вашими настоящими именами.

Чтобы посмотреть старое состояние, склонируйте снимок на цели. Клон не занимает места, пока что-то не изменится, а реплика остаётся нетронутой:

zfs clone backup/bombvault-replica/tower/cache/appdata@bombvault-replica-20261006014100 backup/bombvault-replica/clone-appdata

Если источник вышел из строя, превратите копию в обычный набор данных с возможностью записи на цели:

zfs inherit -r readonly backup/bombvault-replica/tower/cache/appdata && zfs list -rH -o name -t filesystem backup/bombvault-replica/tower/cache/appdata | xargs zfs set canmount=on && zfs mount -a

После этого BombVault перестаёт реплицировать в этот набор данных и его дочерние наборы. Следующий запуск завершается ошибкой с причиной, а то, что вы записали, остаётся. То же касается всего остального, что записано в копию после её самого нового снимка: BombVault никогда не откатывает копию. Чтобы снова реплицировать туда, перенесите нужное с копии и уничтожьте её на цели. Тогда следующий запуск отправит всё заново.

Чтобы вернуть состояние на источник, нажмите Вернуть как новый набор данных в листе. BombVault отправляет снимок в новый набор данных рядом с оригиналом с именем <dataset>-bombvault-restore- плюс отметка времени. Поверх оригинала он никогда не пишет. Дочерний набор данных, потерянный на источнике, тоже возвращается, если в копии ещё есть этот снимок. Дочерний набор, в котором его нет, пропускается, и запуск об этом сообщает.

Пример: реплика на второй сервер Unraid

Сервер tower копирует набор данных cache/appdata как запись ZFS. Второй сервер Unraid по адресу 192.168.1.20 без BombVault имеет пул backup и должен хранить копию, которую можно прочитать в любой момент.

  1. Откройте Резервные копии, затем cache/appdata, затем его вкладку Настройки. В карточке Реплика выберите Добавить сервер ZFS в Реплицируется на.
  2. Введите 192.168.1.20, пользователя root и порт 22. Окно показывает ключ реплики. На втором сервере вставьте его в Users, root, SSH keys и нажмите Apply. Этот ключ отличается от ключа SSH хоста, поэтому добавьте его, даже если тот уже есть.
  3. Проверьте соединение. Выберите пул backup и оставьте предложенный корень backup/bombvault-replica.
  4. Вернувшись на карточку, вы видите, что в Реплицируется на выбран новый сервер. Оставьте Когда на После каждой копии, оставьте Хранить на целевом сервере на его 7 ежедневных и 3 еженедельных снимках и задайте Хранить на этом сервере равным 7.
  5. Нажмите Реплицировать сейчас. Первый прогон отправляет всё, так что 300 ГБ по линии 1 Гбит/с занимают не менее 40 минут. Карточка и список «Резервные копии» показывают Реплицируется, затем Реплицировано со временем. Последующие прогоны отправляют только изменившиеся блоки.

Наборы данных теперь лежат в backup/bombvault-replica/tower/cache/appdata на втором сервере, только для чтения. В обзоре Внешнее раздела ZFS считает реплику копией вне сервера.

Чтобы достать один файл за прошлый вторник, есть три способа:

  • На этом сервере, потому что Хранить на этом сервере держит семь снимков:

    cp /mnt/cache/appdata/.zfs/snapshot/bombvault-replica-20261103014100/plex/Preferences.xml /mnt/user/restore/
    
  • На втором сервере с клоном снимка на цели. Вкладка записи Резервные копии показывает команды с вашими настоящими именами, когда вы щёлкаете строку реплика ZFS. Удалите клон через zfs destroy, когда закончите.

  • Через монтирование, включив Монтировать на сервере только для чтения на странице сервера ZFS. После следующего прогона копии стоят смонтированными только для чтения на втором сервере.

Версии, более старые, чем хранит реплика, по-прежнему берутся из копий, как показывает следующий пример.

Пример: один файл из копии ZFS

  1. Откройте Восстановление, выберите плитку ZFS и щёлкните cache/appdata.
  2. Выберите копию, а в Набор данных тот набор данных, в котором лежит файл.
  3. В Что выберите Отдельные файлы и отметьте файл.
  4. В Куда выберите В папку и укажите папку ниже /mnt, например user/restore. SSH-соединение для этого не нужно, и это работает и для набора данных, которого больше нет.
  5. Нажмите Восстановить. Файл ложится прямо в эту папку, без пути над ним.

Оставшиеся снимки

Снимок копии называется <dataset>@bombvault-<14 digits>, например cache/appdata@bombvault-20260924021500 (UTC). BombVault удаляет его сразу после копирования. Если это не удалось, например потому что набор данных занят или BombVault остановили, BombVault удаляет его:

  • перед следующей копией этой записи,
  • при запуске BombVault для каждой записи, в том числе при выключенном разделе,
  • когда вы удаляете запись,
  • когда вы нажимаете Удалить сейчас на записи, которая показывает, сколько их осталось.

Удаляются только имена, в точности совпадающие с bombvault- и 14 цифрами. Страховочные снимки, ваши собственные снимки и автоматические снимки никогда не трогаются. Чтобы удалить один вручную:

zfs destroy -r cache/appdata@bombvault-20260924021500

Снимок реплики называется <dataset>@bombvault-replica-<14 digits> и не является остатком. Он остаётся на источнике, пока его не заменит более новый прогон реплики, или пока его хранит Хранить на этом сервере, а на цели, пока его хранит политика хранения. Очиститель его никогда не трогает, потому что совпадает только с bombvault- и ровно 14 цифрами.

Аномалии

Опустошённый дочерний набор почти не меняет итог большого дерева, поэтому обнаружение аномалий следит за каждым набором данных записи отдельно: у его размера, числа файлов, новых данных и времени restic своя история. Эта история принадлежит имени набора данных, так что она сохраняется, когда дерево позже копируется другой записью.

Набор данных, который предыдущий запуск скопировал, а этот не смог прочитать, считается опустошённым, пока выбор записи не изменился. Это охватывает незагруженный ключ, несмонтированный набор данных и набор, которого больше нет в дереве. Дочерний набор, который вы исключаете сами, меняет выбор, поэтому его история начинается заново. Пока открыта находка о потерянных данных, хранение сохраняет старые копии именно этого набора данных, а остальное дерево очищает как обычно.

У каждого набора данных своя строка в мониторинге записи, которая открывается через Мониторинг на странице «Аномалии» и стоит на вкладке записи Проверка. Открытые находки показаны рядом с каждым набором данных. Ссылка в находке открывает окно восстановления на последней хорошей копии набора данных. Закончился ли запуск, оценивается для всей записи, потому что запуск удаётся или не удаётся целиком.

Сами проверки описаны в разделе Аномалии. Помощник, подключённый через сервер MCP, может перечислять точки восстановления записи ZFS, запускать её копию и читать находки, а подтверждение находки происходит на странице Аномалии.

Коды причин

Страница записи, история запусков и уведомления называют проблему одним из этих кодов. У большинства исправление есть и рядом на странице.

Код Значение Что делать
ssh-missing В этом контейнере не настроено SSH-соединение. Настройте SSH-соединение, как для копий виртуальных машин.
host-placeholder Host SSH: Address всё ещё заглушка, и host.docker.internal тоже не ответил. Задайте Host SSH: Address равным IP этого сервера в локальной сети.
host-fallback Host SSH: Address всё ещё заглушка, а host.docker.internal работает. Ничего или задайте IP в локальной сети.
ssh-unreachable Сервер недоступен по SSH. Проверьте адрес и порт и что SSH включён.
ssh-auth Сервер отклонил ключ BombVault. Один раз выполните на сервере команду, показанную в Соединение с этим сервером.
zfs-not-found У SSH-хоста нет команды zfs. Направьте Host SSH: Address на машину, которой принадлежат пулы.
zfs-permission Пользователю SSH нельзя выполнять эту команду zfs. Используйте root или см. TrueNAS SCALE.
uri-mismatch LIBVIRT_URI называет другой хост или пользователя, чем поля SSH. Приведите их в соответствие или очистите поля SSH, чтобы оба брались из URI.
zfs-error zfs сообщил о другой ошибке. Подробности показывают его сообщение.
propagation-missing Новые монтирования на хосте не доходят до контейнера. Задайте режим доступа Host Data Read/Write - Slave и перезапустите BombVault.
invalid-name Имя набора данных, которое BombVault не принимает. Переименуйте набор данных.
name-too-long Набор данных в дереве слишком длинный для имени снимка. Переименуйте его или добавьте как запись набор данных под ним.
invalid-exclude Шаблон исключения или исключённый дочерний набор не подходят записи. Исправьте запись, которую называет сообщение. Чтобы исключить целый дочерний набор данных, выключите его вместо написания шаблона.
not-found Набора данных на сервере нет. Удалите запись или создайте набор данных заново. Его копии остаются пригодными для восстановления.
not-filesystem Это том, а не файловая система. См. Тома.
overlaps-item Набор данных пересекается с существующей записью. См. Записи никогда не пересекаются.
docker-storage В дереве хранилище образов Docker. См. Хранилище Docker.
nothing-readable Ни один набор данных записи сейчас нельзя прочитать. Посмотрите коды пропущенных наборов данных.
snapshot-failed Снимок не удалось создать. Подробности показывают сообщение zfs.
containers-busy Копия контейнера ещё шла, когда нужно было останавливать контейнеры. Повторите позже. Плановые запуски ждут сами.
consistency-stop-failed Контейнер не удалось остановить, поэтому снимок не сделан. Проверьте контейнер или уберите его из списка.
pre-snapshot-failed Команда перед снимком завершилась ошибкой. Подробности запуска показывают её вывод.
container-unknown Перечисленного контейнера не существует. Уберите его из списка.
container-is-self BombVault не может остановить собственный контейнер. Уберите его из списка.
leftover-snapshots Снимки, которые BombVault не смог удалить, всё ещё на сервере. Нажмите Удалить сейчас, см. Оставшиеся снимки.
zvol Том в дереве, пропущен. См. Тома.
canmount-off Никогда не монтируется (canmount=off), пропущен. Если в нём есть данные, смонтируйте его или перенесите данные в дочерний набор данных.
legacy-mount Точка монтирования legacy, пропущен. Дайте ему точку монтирования ниже /mnt.
no-mountpoint Нет точки монтирования, пропущен. Дайте ему точку монтирования ниже /mnt.
not-mounted Не смонтирован на сервере, пропущен. Выполните zfs mount или задайте canmount=on.
key-not-loaded Зашифрован, ключ не загружен, пропущен. zfs load-key, затем смонтируйте.
snapdir-disabled Доступ к снимкам выключен, пропущен. zfs set snapdir=hidden <dataset>. Папка .zfs остаётся скрытой.
not-visible BombVault не видит точку монтирования набора данных. Переместите точку монтирования ниже пути Host Data или сопоставьте её в контейнер по тому же пути с Read/Write - Slave.
shfs-only Набор данных виден только через /mnt/user, который скрывает снимки. Подключите как Host Data /mnt, а не /mnt/user.
snapshot-not-visible Снимок создан, но не появился внутри BombVault. Запустите Проверить доступ к снимкам. См. ниже.
snapshot-loop Снимок не дошёл до BombVault, потому что Host Data не пропускает новые монтирования. Задайте режим доступа Host Data Read/Write - Slave и перезапустите BombVault.
backup-failed restic завершился ошибкой для этого набора данных. Подробности запуска показывают почему.
not-reached Запуск закончился раньше, чем дошёл до этого набора данных. Запустите копию снова.
gone Набора данных на сервере больше нет. Ничего. Его копии остаются пригодными для восстановления.
read-only-mount BombVault может только читать набор данных, поэтому не может восстановить в него. Задайте сопоставление Read/Write - Slave или восстановите в папку.
destination-not-mounted Папка не на смонтированном пуле или общем ресурсе. Выберите папку на пуле или общем ресурсе.
not-enough-space Не хватает свободного места в месте назначения. Освободите место или выберите другую папку.
safety-snapshot-failed Страховочный снимок не удалось сделать, поэтому ничего не восстановлено. Подробности показывают сообщение zfs.
safety-name-too-long Имя набора данных слишком длинное для страховочного снимка. Выключите страховочный снимок или восстановите в папку.
dataset-exists Набор данных с таким именем уже существует. Выберите новое имя или восстановите в сам набор данных.
create-failed Новый набор данных не удалось создать. Подробности показывают сообщение zfs. Проверьте, что набор данных над ним существует.
new-dataset-not-visible Новый набор данных создан, но BombVault его не видит, поэтому ничего не восстановлено. Набор данных остаётся на сервере. Смонтируйте его ниже пути Host Data и восстановите в него.
set-properties-failed Сохранённые свойства не удалось задать, поэтому ничего не восстановлено. Подробности показывают сообщение zfs.
set-limits-failed Файлы восстановлены, но сохранённую квоту или резервирование задать не удалось. Подробности показывают сообщение zfs. Задайте квоту или резервирование сами через zfs set.

Проверка того, что видит контейнер

Проверить доступ к снимкам на вкладке записи «Настройки» делает настоящий снимок её дерева, ищет его внутри BombVault для каждого набора данных и снова удаляет. Это самый быстрый способ проверить весь путь до первого планового запуска.

Чтобы посмотреть самому, выполните это на сервере:

docker exec BombVault grep zfs /proc/self/mountinfo

Каждая строка — одно монтирование внутри контейнера. Строка набора данных показывает его путь внутри контейнера (ниже /host/user) и имя набора данных. Поле master:N в этой строке означает, что монтирование получает монтирования, которые хост делает позже, а это нужно для доступа к снимкам. Если его нет, задайте режим доступа Host Data Read/Write - Slave и перезапустите BombVault.

TrueNAS SCALE

  • Когда задан LIBVIRT_URI (как для копий виртуальных машин в TrueNAS), BombVault берёт хост SSH, пользователя и порт для своих команд zfs из URI, каждый из тех, что не задан отдельно. Без копий виртуальных машин задавать ничего не нужно: host.docker.internal в приложении TrueNAS не разрешается, поэтому BombVault достаёт до хоста через шлюз приложения по умолчанию, от имени root на порту 22. Задайте LIBVIRT_HOST, LIBVIRT_SSH_USER и LIBVIRT_SSH_PORT, когда нужен другой адрес или пользователь, в environment приложения.
  • Добавьте ключ SSH хоста из Настройки, Интеграции, SSH хоста пользователю root в Credentials, Users и включите службу SSH в System, Services. Реплике на этот или другой TrueNAS нужен и ключ реплики, который другой.
  • Пользователю, отличному от root, нужно разрешение на верхний набор данных записи, которое тогда охватывает каждый набор под ним:
zfs allow <user> snapshot,destroy,mount <dataset>

Восстановление в новый набор данных требует ещё create на наборе данных над ним, а задание сохранённых свойств требует разрешения на эти свойства.

В сеансе SSH без root в TrueNAS в пути нет /usr/sbin. Тогда BombVault вызывает /usr/sbin/zfs напрямую. - Host Data приложения должен быть путём хоста над наборами данных, например /mnt/tank, а не ixVolume. С путём хоста приложение передаёт BombVault новые монтирования хоста (rslave), которые нужны для доступа к снимкам. Всю настройку приложения см. в разделе TrueNAS SCALE.