Наиболее оптимальный способ бекапа линукса и макоса в облако

Если ты можешь смонтировать удалённую облачную ФС локально, то любой скрипт бекапа по вкусу. Может, тебе надо шифрование, инкрментальный бекап или чего ещё, а может, просто rsync по крону.

Также есть CloudCross.

Поскольку речь идёт о пользовательских директориях, а не файлах БД, вопрос о консистентности не стоит, так?

Шифрование не нужно.

У меня есть данные на двух машинах, скажем это директории /home/user/Data и /Users/user/Data на линуксе и макосе соотв.

Мне нужно раз в неделю, например, чтобы содержимое этих директорий копировалось в облако (есть гуглодрайв, если не подходит, то могу купить амазон). Автоматически.

Там содержимое: книги, журналы, pdf/djvu и картинки.

Также есть CloudCross

Спасибо, посмотрю.

Тоже ищу что то похожее. Лучше чтоб умело инкрементный бекап

Инкрементальный бекап с интеграцией в гугл и amazon умеет backuppc. Рекоменду :-)

Это должна быть одна директория в облаке? Конфликты как разрешать — кто новее, того и тапки? Тогда обычный rsync по крону на смонтированную директорию должен тебя устроить.

Если разные директории, то тут вообще проблем не вижу.

гугл.диск сколь помню можно подключить через сторонний сервис по вебдаву в локальную файловую систему.

Ну и ручками нарисовать скриптик архивации, сжатия и отправки в енту папку ??

для инкремента воспользоваться find с датой изменения меньше недели ??

почему люди не пользуются божественным облаком от мейл.ру ?

Очень интересно что вы подразумеваете под синхронизацией через rsync?
По-моему в таком случае (когда обе файловые системы локальные) rsync породит чтение 100% использования диска и со стороны источника и со стороны цели/хранилища резервной копии. Последнее в свою очередь породит передачу 100% использования диска по сети, что при масштабах диска 1000ГБайт... это поменьше мере так себе решение. Лучше у тогда делать полную копию, ресурсов затратится примерно так же, но проще и надежнее.
Может быть у rsync есть какие-то способы уменьшения чтения из целевой директории? Например, при первой синхронизации записывать хешь всех обработанных файлов в базу на целевом сервере, а при очередной синхронизации сравнивать хешь из базы с текущим хешем файлов с источника? Опять же, тогда он будет целиком качать изменившиеся файлы. Что тоже так себе.
По-моему ОПу нужен какой-то механизм отслеживания изменений файлов. Как например в МОКРОПИСЕЧНОМ Vmware работает CBT для блочных устройств. Или как работает zfs send | zfs recive для снепшотов в НекроБСД.
Сам уже джва года ищу такую тулзу.

По-моему в таком случае (когда обе файловые системы локальные) rsync породит чтение 100% использования диска и со стороны источника и со стороны цели/хранилища резервной копии. Последнее в свою очередь породит передачу 100% использования диска по сети, что при масштабах диска 1000ГБайт... это поменьше мере так себе решение. Лучше у тогда делать полную копию, ресурсов затратится примерно так же, но проще и надежнее.

Вообще-то rsync копирует по сети только изменившиеся файлы, если ты не знал.

Кроме того, при использовании rsync, в отличие от cp, сохранятся данные о времени последнего доступа и модификации, что позволит синхронизировать конфликты правильно.

Может быть у rsync есть какие-то способы уменьшения чтения из целевой директории? Например, при первой синхронизации записывать хешь всех обработанных файлов в базу на целевом сервере, а при очередной синхронизации сравнивать хешь из базы с текущим хешем файлов с источника? Опять же, тогда он будет целиком качать изменившиеся файлы. Что тоже так себе.

Да, именно так. Только он не записывает в базу, а высчитывает каждый раз.

Конечно, если у ТС-а там лежат файлы по несколько Гб и он их регулярно правит, тогда да, расход трафика будет значительный, но мы этого не знаем. Обычно в домашней директории лежат всякие фильмы, музычка, картиночки… которые редко обновляются.

Сам уже джва года ищу такую тулзу.

Нууу… на самом деле, это сложно. Передавать только дельты по сети — это же их сначала надо выяснить, а для этого придётся бить файл на чанки и считать контрольные суммы всех чанков. Не факт, что игра стоит свеч.

С файловыми системами это проще — там контрольные суммы чанков заранее подсчитаны и записаны, поскольку требуются в целях надёжности.

а для этого придётся бить файл на чанки и считать контрольные суммы всех чанков.

А в предложенном варианте, когда удалённая ФС смонтирована локально, для этого придётся сначала скачать файл к себе, сравнить, а потом передать туда. Фигня, короче :-)

Все что вы написали - это для случая когда ОП будет общаться с удаленным rsyncd. Что не соответствует ранее сделанному допущению о локальном монтировании хранилища.

Да, я уже понял, см. моё следующее сообщение.

в отличие от cp

  -p                           same as --preserve=mode,ownership,timestamps
      --preserve[=ATTR_LIST]   preserve the specified attributes (default:
                                 mode,ownership,timestamps), if possible
                                 additional attributes: context, links, xattr,
                                 all

почему люди не пользуются божественным облаком от мейл.ру?

Серьезно? Расскажите поподробнее, пожалуйста. Когда я в последний раз на этот хостинг смотрел, им пользоваться было просто невозможно — ни одного стандартного интерфейса он просто не поддерживал.

Ну как у них есть приложение и для линукса и для OS X и для шиндошс, закидывай туда нужное и будет оно у тебя повсюду. Они как-то раз даже выдавали по 100гб бесплатно. Но это было давно.

Ну как у них есть приложение

И что, свободное?

закидывай туда нужное и будет оно у тебя повсюду

Нахрена оно мне «повсюду»?

по поводу швободки не скажу.

Нахрена оно мне «повсюду»?

Ну так они и бекапятся в облако и доступ с любых машин будет.

Я още обалдеваю как хорошо и удобно работает acdcli, проще простого что-то закинуть или скачать с амазона.

Я так думаю что для бэкапа файлов и директорий, лучше юзать BZIP2 + Amazon S3.

А если ты хочешь сделать автозагрузку файлов туды, то можно просто сделать Python скрипт + Демона для него, и все будет само загружаться.

лучше юзать BZIP2 + Amazon S3

А чем S3 лучше Cloud Drive, например?

Очень маленькая цена, + хороший API, хорошая техподдержка