Back-up and rsync

Что и в какой момент тормозит? Какие объемы в день примерно? Я так понимаю, что имеет место быть пресловутый баг 12309. Можно попробовать сменить планировщик ввода / вывода. Еще можно (если объемы большие) разбить синхронизацию на несколько этапов - по определенным часам, например. Но вообще было бы неплохо привести конфиг сперва ;-)

AFAIK вот эта опция может тормозить "-c"
в мане так и пишут

rsync вообще ужасно тормозит при больших обьемах. когда кол-во данных пошло на десятки ТБ, я быстро понял что bacula - гораздо более адекватное решение для бекапов.

Бакула - монструозное поделие, расчитанное на, как минимум, десяток машин-клиентов. Использование его на 1ой машине совершенно неоправдано и избыточно. Rsync'a более чем должно хватить. К тому же, вряд ли разговор идет о «десятках ТБ» ;-) У самого на бакуле был около 12 серверов. С таким количеством - да, имеет смысл. А для дома и пары-тройки серверов проще и быстрее написать скрипт с рсинком и не париться.

P.S. У самого на рсинке делаются удаленные бэкапы каждую неделю (20-30гб за неделю), с логированием изменений, временем и тд. Очень все быстро, красиво и просто.

Что и в какой момент тормозит?

Не понял. Когда работает rsync тормозит комп, т.е. практически не реагирует на мои действия. Открыть терминал (сочетанием клавиш) набрать несколько букв занимает мучительно большое время.

Какие объемы в день примерно?

Папки занимают около 200 Гб, в них множество файлов размером от 1 до 10 мб. В сутки размер папок может измениться на +-50 Мб.

Но вообще было бы неплохо привести конфиг сперва ;-)

Чего?

Не понял. Когда работает rsync тормозит комп, т.е. практически не реагирует на мои действия. Открыть терминал (сочетанием клавиш) набрать несколько букв занимает мучительно большое время.

Ну, типичный 12309. У меня было такое же некоторое время назад. Пересобрал ядро, поменял планировщик ввода-вывода и на такой же точно операции вышеуказанные тормоза исчезли. Хотя тут, надо отметить, данный способ помогает на всем и не всегда.

Папки занимают около 200 Гб, в них множество файлов размером от 1 до 10 мб. В сутки размер папок может измениться на +-50 Мб.

Ну, то есть, объемы не велики.

Чего?

«Домашней» системы. Дистрибутив, ядро, железки.

rcv@localhost

Нахрена подсоединяться к самому себе, через ssh?

Подбери --bwlimit=KBPS пусть медленнее копирует, зато без 12309

Нахрена подсоединяться к самому себе, через ssh?

В далекой галактике за толстым толстым фаерволом стоит мой рабочий компьютер, до которого из вне не достучаться, но он сам может достучаться до кого угодно. Мне лично, связь удалось наладить только пробросом портов. Если вы знаете как можно наладить связь менее криворуко, жду Вашего решения.

Ну, типичный 12309.

Я думал это фантастика, а оказывается я с ним живу уже несколько месяцев.

Точно, я не дочитал, хотя ты об этом писал в исходном сообщении.

Если зашел развор о backula, то каким способом она бэкапит данные на хранилища?

Да, убрал -с все заработало очень быстро.

bacula-fd стоит на клиенте, читает файлы на ФС и передает их bacula-sd, который стоит на хранилище. bacula-sd архивирует их в свой формат (volume) и хранит. и bacula-fd и bacula-sd получают приказы от bacula-dir, который рулит retention-периодами, является планировщиком и хранит всю свою инфу в каталоге (catalog) - мускульная база (или постгресная).

Спасибо. А как она осуществляет копирование файлов, какими-то своими средствами или rsync?

Так же интересно, сколько будет идти копирование например 3TB.

своими средствами по своему протоколу. fd конектится к sd и льет файлы.

сколько будет идти копирование например 3TB.

есть тазик:
/dev/stripe/backups0 2.6T 2.6T 32G 99% /backups0
/dev/stripe/backups1 1.8T 1.7T 60G 97% /backups1
/dev/ad0s1d 1.8T 1.7T 79G 96% /backups2

вот это набекапилось за 2 суток - полный бекап всего, делающийся раз в месяц.
в остальные дни делаются инкрементальные срезы.

Спасибо. Жалко не подойдет.