Бэкапы

Не говори бэкапы чего и т.д. и т.п.

МЫ ЛЮБИМ УГАДЫВАТЬ!!!

Напишите, кто чем пользуется и какие фишки есть у используемого. Несущественные моменты: шифрование, сжатие, удалённое хранение - это мне не нужно. Что интересует: эффективность работы(не инкрементальные сразу минус) и надёжность(чем проще тем лучше, проще разбираться).

Если для тебя какие-то моменты несущественны и что-то интересует, тогда какая тебе разница, кто чем пользуется?

Чего угодно. Но ты можешь рассказать мне, какие принципиальные отличия есть. Попытайся.

бекапы чего?

borg. Прост в использовании, хорошее сжатие и дедупликация, надёжность. При этом можно делать хоть каждый день в течение года без без сильного разрастания объёма, можно удалять устаревшие и оставлять только часть, и т.д. Можно монтировать с помощью FUSE и доставать оттуда хоть всё, хоть отдельные файлы.

При этом можно делать хоть каждый день в течение года без без сильного разрастания объёма, можно удалять устаревшие и оставлять только часть

Ну это не руками всё делать надо. Условно, просто в конфиге глубину истории задать. Верно?

И ещё вопрос. Этой:

Просто tar -g не подходит - по этим архивам нельзя сказать удалён ли некоторый файл(и когда удалён) или просто не менялся.

проблемы там не стоит?

Ну хорошо. Я вот забэкапил черноплодки на зиму в банку герметичную. Банка на литр, крышка с резинкой.

rsync

Ну это не руками всё делать надо.

Как хочешь, так и можно. У меня автоматически по cron, ночью, пока я сплю. Но можно хоть руками хоть как угодно. Хоть вообще сервисом из богомерзкого systemd. Кому как удобнее.

Условно, просто в конфиге глубину истории задать. Верно?

Ну я например в начале каждого месяца удаляю все архивы пред-предыдущего месяца кроме первого. Таким образом у меня есть ежедневные бэкапы минимум за последний месяц + ежемесячные за всё время. Но опять же, тут смотря какие требования. Как сделаешь, так и будет.

backlog = 1. Либо минус инкременталка. Или я чего-то не учёл?

по этим архивам нельзя сказать удалён ли некоторый файл

Если правильно понимаю задачу то тебе стоит покурить rsync и обмазаь его скриптухой под твои конкретные нужды.

Объём данных - несколько десятков гигабайт.

Я так понимаю файлопомойка на которую могут как заливать\изменять файлы так и удалять?

У меня автоматически по cron, ночью, пока я сплю

Ну это типа руками. Или ты просто команду дёргаешь и всё ручное ограничивается тем, что бы эту команду повесить на планировщик?

Ну я например в начале каждого месяца удаляю все архивы пред-предыдущего месяца кроме первого.

Кажется понял. Тогда получается та же проблема, что и для обычного tar -g. Я примерно такую же схему там использовал.

Ладно, я поизучаю ещё более пристально.

rsync с однажды подобранными флагами, которые я наизусть не помню. Чтобы изменения прилетали в обе стороны, но не тёрли файлы без явного запроса.

rsync и обмазаь его скриптухой под твои конкретные нужды.

Можно, но я не понимаю, как это сделать эффективно. Чуть выше тоже предлагали rsync, я там отписался об основных проблемах.

Я так понимаю файлопомойка на которую могут как заливать\изменять файлы так и удалять?

Да, что угодно может делаться.

Ну это типа руками. Или ты просто команду дёргаешь и всё ручное ограничивается тем, что бы эту команду повесить на планировщик?

Всё ручное ограничивается вписыванием одной команды в crontab. У меня там не вызов borg, впрочем, а вызов скрипта, который помимо бэкапа ещё всякое разное делает, но оно к этой теме отношения не имеет и тебе не интересно, там всякие сборы статистики по моим личным штукам и всякое такое.

Кажется понял. Тогда получается та же проблема, что и для обычного tar -g. Я примерно такую же схему там использовал.

Я не вижу, где здесь «проблема». Обычный tar не обеспечивает дедупликации, и объём пухнет как на дрожжах. В borg же неизменные данные заново каждый день место не занимают, только те, которые изменились.

А как быть с версиями? Ну допустим, какой-то файл менялся каждый день в течение месяца. Вот мне нужны все эти 30 версий, проще говоря.

Я сомневаюсь, что подобное есть в rsync-е. А то, что можно нагородить вручную на скриптах будет медленное.

Всё ручное ограничивается вписыванием одной команды в crontab.

ok, нормально.

Я не вижу, где здесь «проблема».

Ну смотри, на простом примере. Где-то у тебя файлик удалился. Неизвестно когда. Можешь ли ты по борг-бекапу сказать в какой момент удалился? Не точно, конечно, но условно в какой день если бекапы ежедневно делаются.

Обычный tar не обеспечивает дедупликации, и объём пухнет как на дрожжах.

tar -g. Правда там такая себе дедупликация, но не «на дрожжах». Но это не важно. Наличие дедупликации в борг я посмотрел, оно там одним из первых пунктов попалось.

Ну смотри, на простом примере. Где-то у тебя файлик удалился. Неизвестно когда. Можешь ли ты по борг-бекапу сказать в какой момент удалился? Не точно, конечно, но условно в какой день если бекапы ежедневно делаются.

Прям одной командой — нет. Но если сильно понадобится, то могу — перебором (в цикле, не руками, само собой) всех бэкапов от новых к старым, пока не найдётся: узнать, есть ли файл в конкретном бэкапе — довольно быстрая операция.

Мне ни разу такого не требовалось, честно говоря.

А как быть с версиями?

Git

Думаю тебе надо сесть и прикинуть сначала на бумажке как бы ты (и твои пользователи) хотел бы что и куда у тебя ходило :)

Безотносительно инструмента, а потом уже решать что именно подойдет лучше\будет более удобно в обслуживании и масштабировании и т.п.

У меня в похожей задаче ежедневно выполтяется:

rsync -rptHq --delete-after -b --backup-dir=$BACKUP_INCR"/"

Эти еще улетают в облако и хранятся неделю - чтобы можно было достать удаленные файлы.

И еженедельно делается полный бэкап:

rsync -aHW --delete-after

Там же в баш-портянках (в которые залез и понял что надо переписать на пыхтон 😊) оно жмётся в архив.

з.ы. если честно покопался, думаю надо тоже борг пощупать

Мне понравилось использовать restic в связке с rclone для бэкапов в облака. И не только в облака.

Он тормозит на больших объёмах вроде. Хотя я не помню, сколько у меня было данных, когда я смотрел, но явно не больше 30Гб и status/add там секунд 10 делались.

Используем PBS.

Несущественные моменты: шифрование, сжатие, удалённое хранение - это мне не нужно.

А нам нужно.

Что интересует: эффективность работы(не инкрементальные сразу минус) и надёжность(чем проще тем лучше, проще разбираться).

Эффективно, надёжно, непросто.

Про фс снапшоты можете написать, кто пользуется.

Используем ZFS на PVE.

Объём данных - несколько десятков гигабайт.

А у нас больше.

http://mattmahoney.net/dc/zpaq.html
Или форк – https://github.com/fcorbelli/zpaqfranz.
Или http://dar.linux.free.fr/home.html.

А мне restic в связке с его же rest-server.

Возможно restic + rclone будет поинтереснее, спасибо!

Пользуюсь стандартной бекапилкой гнома (Deja Dup), там под капотом duplicity с инкрементальными бекапами и шифрованием. Некоторым бекапам уже по 10 лет, до сих пор все разворачивается.

Ну одной командой только в гите наверное можно.

Но если сильно понадобится, то могу — перебором (в цикле, не руками, само собой) всех бэкапов от новых к старым, пока не найдётся: узнать, есть ли файл в конкретном бэкапе — довольно быстрая операция.

Способ нормальный, но может не сработать. Файла в бекапе не будет и при удалении, и при неизменности этого файла. Ну в tar -g по крайней мере так.

Тоже неизвестно, нужно ли это вообще будет, но потеря инфы как-то смущает. Проверю потом борг - может там нормально сделано.

frunobulax, спс, посмотрю rsync. Хотя сомнительно что подойдёт.

+1

Как расширение этого : rsnapshot

Способ нормальный, но может не сработать. Файла в бекапе не будет и при удалении, и при неизменности этого файла.

Нет, файл в бэкапе будет, если он там был на момент бэкапа.

Ну в tar -g по крайней мере так.

Ну на то он и borg, специально предназначенный для бэкапов, а не просто архиватор.

Лично мне не нравится этот способ только одним, нельзя свободно по шарится МС по бекапу и выдернуть нужный файл/каталог. Нужно через дуплисити вытаскивать нужный файл и т.д.

Не представляю для чего может быть нужна история изменений каких-то файлов, которые создают большой объём.

В Git у меня код, а фоткам и видео история не нужна.

Да, через mc не посмотришь, хотя может есть какая-нибудь fuse поделка чтобы монтировать бекапы как фс, не знаю. Мне как раз гномовский Deja Dup и нравится, что дает пошариться по бекапу в интерфесе похожем на наутилус и повытаскивать отдельные файлики, ну и в нем в пару кликов можно добавить/исключить пути и задать периодичность бекапов. Он еще будет напоминать тебе раз в пару месяцев ввести пароль, чтобы проверить что ты не забыл его.

Отличный метод. А инкрементальный бекап поддерживается?

Interdasting.

А офлаеновые копии borg поддерживает? Можно иметь дюжину НЖМД, которые подключать по очереди, но при этом чтобы borg мне мог сказать, что файл /home/user/Documents/mothly_report.tex есть на вот этих дисках, занимает вот столько килобайтов?

Имеется в виду распределение одного и того же набора бэкапов по куче носителей?

Честно говоря, не знаю, не копал в эту сторону. У меня всё довольно просто — бэкапы на одну удалённую машину, поэтому я прям во все-все опции не вникал.

Нет, ничего похожего borg не умеет. Технически, у тебя есть кэш репозиториев, но это вряд ли будет удобно.

Имеет смысл заглянуть в документацию, чтобы понимать, чем оно является, а чем нет.

Использую restic, но его сложно назвать конструктивно простым решением. Есть bup, который использует формат git, но там функциональность не на уровне restic/borg/kopia.

Протереть и с сахаром ее, тоже отличный бекап получается.

Это вам, батенька, бакулу надо.

Да, знаю такую. И если borg в offline backup’ы не умеет, то у Bareos’а всё ещё нет альтернатив.

Просто скриптом добавляю/заменяю копии конфигов и скриптов. С сохранением дерева каталогов (с другим корнем). Экземпляры сравниваю по хэшу. Потом архивирую. Т.е. это условный бэкап, но позволит в случае переустановки избежать значительной доли ручной возни.

Напишите, кто чем пользуется и какие фишки есть у используемого.

https://aws.amazon.com/backup/ Главная фишка — декларативный подход и возможность проверить соответствие настроек политикам. Ну и отчёты, тревоги, автоматизация всяческая, всё как в лучших домах Лондона и Парижа.

rsync

Пару лет юзаю kopia, бэкаплю десктоп на nas, мне нравится. Сначала просто по smb бэкапил, сейчас поднял нативный сервер. Любой снапшот монтируется как файловая система по fuse

LVM снэпшот на корень. Обновляется одной командой.

sudo lvremove vg0/snap-root; sudo lvcreate -L10G -n snap-root -s vg0/root

Вы вот мне скажите, положим вы настроили какой-нибудь borg/restic/rsync/что_угодно. Оно тихо там что-то бэкапит самостоятельно каждый день?

А какие сейчас есть механизмы в Линуксе, чтобы сообщить пользователю, что что-то пошло не так? Ну т.е. чтобы не проверять каждый день логи? И не обнаружить через полгода, что все это время были какие-то ошибки.

Я помню раньше в Дебьяне был типа локальный мейл-сервер и туда такие вещи слались. А сейчас как это устроено? Какие хорошие практики? Допустим это не сервер, а компьютер «обычного пользователя».

Точно также это сейчас устроено, локальная доставка работает. Другое дело, что появились модные смузихлёбные способы, например, схватить локальную доставку и через сокет скормить телеграм-боту.

если редактируешь фото/видео, то видимо всё же нужна.

А так ещё есть всякие офисные форматы + pdf, которые в общем-то ближе к бинарным (хотя и open office xml).

Я вот забэкапил черноплодки на зиму в банку герметичную.

Главное зимы не перепутать, а то через н-цать зим она уже не совсем годная будет. Да и банку возможно уже не откроешь.

Мне нотификации на рабочий стол прилетают, бекап начат, бекап сделан, вот эти файлы не забекапились (пользовательских прав не хватило), ну я каждый день не бекаплю, раз в неделю достаточно.