Простенький наколеночный бэкап?

tar+gzip/xz+bash/sh

перечитал несколько раз, но не понял основной фишки данной проблемы; 100GB запаковать в архив (еженедельный 2 раза) и скопировать по scp.

пример https://habrahabr.ru/post/136313/

duply/duplicity

borg backup

Файлы большие и уже по сути являются архивами. Обновляются не особо часто (три-четыре раза в год), перезаписывая предыдущие версии, которые тоже внезапно могут потребоваться (не более одной версии назад).

Удаление старых версий файлов в случае превышения лимита для архива там разве есть? Конечно можно следить ручками, глазками и самому старые бэкапы удалять, но не хочется.

backup-manager
тред не читал, оп пост тоже.

Ты должен понимать, что это совсем не совсем стандартный случай. И из изначального поста это не было понятно. Но ты можешь сделать удаление старых версий скриптом на cron или описать это логику в pre/post файлах. Фактически же ты, напрашивается решение либо перепаковывать, в duply/duplicity легко меняется размер на которое разделяются файлы можно указать. Но фактически, по хорошему тебе нужен один full backup, а потом можешь бэкапить только изменения. Да и похоже ты хочешь просто что-то вроде ZFS snapshots'ов.

Ну да — случай не стандартный по причине ограниченности размера архивного пространства. В принципе мне сгодилось что-то вроде с использованием hard линков и директорий с датами где эти линки организуются, но проблема в том, что на архивном диске нет поддержки hard линков. То есть нужна какая-то ДБ, которая отслеживает когда и какие файлы были удалены/изменены и убивала старые версии. Шаг бэкапа не чаще раза в сутки.

Так же подошла бы какая-нибудь надстройка на git, но git annex я чего-то так и не осилил настроить для хранения больших файлов и чистки их при необходимости. Видимо надо опять помедетировать.

borg backup

Если attic работает, есть смысл на borg backup переползать?

Файлы большие и уже по сути являются архивами. Обновляются не особо часто (три-четыре раза в год), перезаписывая предыдущие версии, которые тоже внезапно могут потребоваться (не более одной версии назад).

Если все прям как описано, но вообще не вижу проблемы. tar+cron

Я не пользовался attic, знаю только по его упоминаниям на сайте borg, там перечислены только достоинства borg по сравнению с attic: https://borgbackup.readthedocs.io/en/stable/

Не понятно как организовать автоматическую чистку старых файлов при превышении ограничения на размер архивного пространства. Я не знаю утилит с таким функционалом.

Глянь rdiff-backup

спасибо. Возможно это решение.

Посмотрел внимательно — напрямую нет.

Только вручную делать отдельной командой --remove-older-than 20B перед бакапом.

Ну да — именно потому и возможно. В принципе сохранять старую копию достаточно месяц. Если за это время не было обнаружено проблем в новой итерации данных, то они либо не нужны, либо всё всех устраивает.

Вы написали что вам нужно «не более одной версии назад» так и создавайте через один backup1.tar backup2.tar backup1.tar... надеюсь мысль понятна.

rsnapshot если ещё живой.