rsync, изменения за день

1. Наконец-то запилить нормальный бэкап хранящий по вкусу full/diff/inc .. за…… период времени.
2. Сказать пользователям что это невозможно.
3. Профит!

Borg. Прекратите уже использовать копролиты по типу rsync.

inb4: в Borg по умолчанию бэкапы - дельта, и можно каждый бэкап примонтировать (даже по сети), и вытащить из него нужные файлы.

У rsync есть опция --link-dest, на ее основе можно сделать инкрементальный бэкап. Но полные резервные копии делать раз в несколько недель я бы все таки советовал.

1) Выкинуть rsync, как уже предлагали и заюзать ну хотя бы тот же restic;
2) Сменить ФС, где лежат данные пользователей на ту, которая умеет в снапшоты(zfs/btrfs, если хочется экзотики - nilfs2)

zfs/btrfs

А там можно как в lvm на лету создавать / удалять/ менять размер разделов? Т.е. в принципе можно вообще отказаться от lvm и использовать эти фс?

ага

я так понимаю тс, на бутере/зфс нужно каждый день делать копию (CoW-копию) хранилища и в новой накатывать изменения через rsync (коль так сильно желание его использовать) тогда будет куча директорий с датой в названии, содержащее срез хранилища на указанный день.
за счет CoW идентичные блоки данных будут общими.

#!/bin/sh

DATETIME=`date +%Y-%m-%d_%H:%M:%S`
SOURCE_DIR=/home/m/Share/src
BACKUP_DIR=/home/m/Share/backups

BACKUP_PATH=${BACKUP_DIR}/${DATETIME}
LATEST_LINK=${BACKUP_DIR}/latest

mkdir -p ${BACKUP_DIR}

rsync -av --delete-after -A -X  ${SOURCE_DIR}/ --link-dest ${LATEST_LINK}/  ${BACKUP_PATH}/

rm -rf ${LATEST_LINK}
ln -s ${BACKUP_PATH} ${LATEST_LINK}

С помощью интернета и правок получился такой скрипт.
В $BACKUP_DIR создаются каталоги по времени запуска скрипта.
Общие файлы хранятся один раз за счет ссылок.

каждый день делать копию (CoW-копию) хранилища

Делать снапшоты, хоть раз в десять минут. Они будут доступны как директории через .zfs

zfs+zrepl

по крайней мере в zfs это не совсем так устроено, выделять именно разделы (zvol) для монтирования из пула не особо-то и надо обычно, хотя и можно. Есть dataset-ы, на них можно выставлять квоты.

rdiff-backup

В zfs/btrfs по умолчанию все разделы(там немного разная терминология dataset/subvolume, но пусть будут «разделы») делят между собой ВСЮ ёмкость ФС. Если нужно ограничить аппетиты отдельного раздела - настраивается квота.

Собственно это и является одним из ощутимых плюсов по сравнению с LVM - есть возможность логического разграничения, без принудительного ограничения по максимуму потребляемого места.

В ZFS есть еще хорошая штука - reservation. Позволяет гарантированно выделить определенный объем разделу. Собственно zfs dataset с одинаково выставленным по размеру quota и reservation аналогичен отдельному LVM-тому в плане выделения места.