Backup files

бекапить можно по ftp. например, в lftp клиенте есть mirror.
не знаю что посоветовать насчет версионности бакапа.

мне не нужна версионность мне надо постоянно докачивать файлы которые добавились, файлы практически не меняются

wget ?

http://lmgtfy.com/?q=ftpsync

Да очень даже не плохое решение, надо потестировать...

Вопрос а почему когда при бекапе

lftp -u user,password -e «mirror --only-newer --verbose -c -R /srv/data/ data/130/; bye;» ftp_backup.example.com

Он доходит до какой нибудь папки к примеру:

Making directory `resources/photo/0004'

И начинает переключаться, то

resources/photo/0004: Getting directory contents (0) [Receiving data/TLS]

то

resources/photo/0004: Getting directory contents (0) [delaying before retry]

то

resources/photo/0004: Getting directory contents (0) [Connection idle]

и так по кругу сообщения и копирование не идет дальше, как будто зависает, а если сбросить и занова сделать то копирует и так на каждой папке.

В чем проблема?

монтируешь свой FTP через FTPFS на сервер, настраиваешь bacula. у меня обьемы примерно такие же (чуть больше), bacula на ура разруливает. плюс умеет делать инкрементные срезы - что в твоем случае будет очень полезно.

Как Fuse монтировать не вариант, слишком медленно работает.

Да и поднимать бакулу ради бекапа одного сервака как то не комильфо. Ведь еще потом придеться заботиться чтобы с бакулой ничего не произашло, а то все потеряеться.

Как вариант пока остановился на lftp c mirror. Бекапиться вроде нормально, вот только надо посмотреть как он будет отрабатывать на таких объемах залитие только обновленных файлов.

lftp c mirror
сервер с большим количеством файлов
порядка 700 гигобайт.

это будет еще дольше, как по мне. но попробовать стоит. отпишешь потом в треде как пойдет?

Почему еще дольше?

потому что bacula хранит свои данные в одном большом файле (volume), а lftp будет перекачивать кучу маленьких. что гораздо медленнее.

а ну да, тут есть такой момент, не особо быстро переливается.

А вот вопрос как интересно будет работать вариант duplicity ? не пробывал? он ведь тоже умеет делать инкрементные бекапы...

кстати, голосую за duplicity. хотя, довольно непростой у него формат бакапов.

не пробовал.

Да ладно что там не простого?

duplicity full /home/jeka/source/ file:///home/jeka/target/ --no-encryption #полный бэкап

duplicity incr /home/jeka/source/ file:///home/jeka/target/ --no-encryption #инкрементальный бэкап(возможно только после полного)

duplicity restore  file:///home/jeka/target/ /home/jeka/new --no-encryption #полное восстановление с последней версии

duplicity restore file:///home/jeka/target/  /home/jeka/source/ -t 1h --no-encryption #полное восстановление состояния час назад

duplicity -t 1h --file-to-restore some_dir/myfile file:///home/jeka/target/  /home/jeka/source/ #восстановить один файл с состояния час назад

duplicity verify  file:///home/jeka/target/ /home/jeka/source/ --no-encryption #сверить файлы с бэкапом(последняя версия)

duplicity verify  file:///home/jeka/target/ /home/jeka/source/ -t 1h --no-encryption #сверить файлы с бэкапом(состояние час назад)

duplicity list-current-files file:///home/jeka/target/ #просмотр списка файлов

duplicity collection-status file:///home/jeka/target/ #информация о бэкапе(начата/закончена, количество etc)

и нет ничего трудного, надо замерить время бекапа с помощь lftp и duplicity.

команды управления простые, а формат бэкапа?

а что там для тебя кажется не простым? то что файлы складываются не в явном виде?

clonezilla вроде умеет.

а причем тут clonzilla ? она вроде бы как liveCD идет, если я не ошибаюсь. Мне надо бекапить на живую.

lftp очень медленно работает с множеством маленьких файлов, но это и понятно почему.

Я пока остановился на варианте с duplicity. У него можно указать volsize и будет профит.

«Ну тогда ой!»

потому что bacula хранит свои данные в одном большом файле (volume), а lftp будет перекачивать кучу маленьких. что гораздо медленнее.

ЕМНИП lftp mirror только новые файлы будет. Потому будет быстрее. Тут вопрос в числе каталогов, lftp всё равно каждый каталог проверяет, и скачивает список их файлов.

lftp очень медленно работает с множеством маленьких файлов, но это и понятно почему.

ты же говорил, что тебе не все файлы надо качать? Не?

Можно свой костылик сделать, который там создаёт список новых файлов, а здесь качает сначала список, а потом сами файлы. Это будет быстрее всего ИМХО (rsync и всякие бакулы примерно так и делают).

Ну первый раз мне надо залить весь бекап, там большая туча как катологов так и файликов, и lftp очень долго все это делает если честно.

короче я пока остановился на варианте с duplicity, он 48 гигов перелил где то за 5 часов, только мне еще пришлось увеличить volsize до 256