Сделать инкремент, не синхронизирую директорию

diff, rsync, правильный инкремент

0

3

День добрый, камрады.

Мне нужно сделать инкремент между двумя состояниями директории.

Все маны по инкрементному бекапу с rsync сводятся к синхронизации двух директорий и сознадии диффа «в обратном направлении», чтобы можно было на него откатиться. Мне же надо не изменяя «недельную» директорию получить инкременты для вторника, среды и т.д.

Подскажите куда копать, а то я уже подумываю сделать вторую копию текущей директории и rsync'нуть ее до старой, получив нужный мне дифф. Мне кажется, есть более прямые пути. В общем, интересует аналог percona-xtrabackup только не для баз и желательно в виде rsync.

Для «ненужно» рассказываю кейс: есть директория, которая бекапится на другой сервер (которому доверия не очень много), поэтому, перед бекапом, она шифруется aes-256-cbc. Размер директории не маленький и гонять гигабайт 1-2 раза в день через интернет не очень хочется.

Если у меня будет «базовый бекап» и ежедневные заэнкоденные слепки по 50мб - я буду счастлив.

Всем спасибо заранее.

Update: Сам ответил на свой вопрос, надо иногда проветривать голову =)

rsync -rcC --progress  --compare-dest=/home/babl/backuptests/backupcurrent/ /home/babl/backuptests/original/ ./dirdiff

надо теперь разобраться как -delete отслеживать.

Ссылка

←	Установка linuximq на linux 4.5.x

Защита от Syn Flood

→

Чтобы не изобретать велосипед, лучше сразу взять rsnapshot, в котором уже реализованы ротация, логирование и защита от эффекта гонок, тогда дифф можно найти через

find /path/to/backup -type f -links 1

ArcFi ★
(27.04.16 21:29:23 MSK)

Ответ на: комментарий от ArcFi 27.04.16 21:29:23 MSK

На удаленке rsnapshot не годится, так как там будет зашифрованный архив. Шифровать файлы по одному тоже не вариант, есть куча мелких и куча больших, на листингах и пересылке мелочи много времени уйдет.

Локально тоже не очень понятно как он меня спасет. Я хочу по разному бекапить «все» и «исключенное» из всего.

Только для диффа заводить еще одну утилиту и инфраструктуру? Так вроде rsync уже решил это.

Эффект гонок в данном случае что подразумевает? У меня вроде бы все «последовательно» с найденным решением по диффу получается. Будут снапшоты(диффы) с воскресенья и будут воскресные.

BaBL ★★★★★
(28.04.16 11:22:38 MSK) автор топика

и гонять гигабайт 1-2 раза в день через интернет не очень хочется

Перестать пользоваться диалапом :)

anc ★★★★★
(28.04.16 13:55:59 MSK)

Ссылка

Ответ на: комментарий от BaBL 28.04.16 11:22:38 MSK

На удаленке rsnapshot не годится, так как там будет зашифрованный архив.

Можно шифровать через пайп и отправлять на удалёнку:

find /path/to/backup -type f -links 1 -exec tar -c -v -O {} \+ | gpg ... | ssh user@host dd of=/path/to/backup.tar.gpg

Эффект гонок в данном случае что подразумевает?

Исключает ошибки, которые могут возникнуть при повторном запуске процесса синхронизации, если предыдущий процесс ещё не завершился.

ArcFi ★
(28.04.16 20:02:50 MSK)

Ответ на: комментарий от ArcFi 28.04.16 20:02:50 MSK

Исключает ошибки, которые могут возникнуть при повторном запуске процесса синхронизации, если предыдущий процесс ещё не завершился.

А, я для этого обычно pid файл создаю и грохаю в конце скрипта.

Спасибо, обдумаю решение.

BaBL ★★★★★
(29.04.16 11:03:06 MSK) автор топика

Ссылка

Ответ на: комментарий от ArcFi 28.04.16 20:02:50 MSK

Можно шифровать через пайп и отправлять на удалёнку

Тут есть один минус, если сбой по сети начинаем все сначала. Для небольшого обьема роли не будет играть, а если обьем приличный лучше все-таки сначала готовить копию локально а потом заливать.

anc ★★★★★
(29.04.16 17:14:14 MSK)