LINUX.ORG.RU
ФорумAdmin

Разыскивается адекватное облачное хранилище для бэкапов

 ,


0

5

Допустим, мне нужно куда-то бэкапить 8 терабайт различного хлама. От бэкапилки требуется ровно три вещи: уметь в инкрементальное дописывание данных, иметь линуксовый клиент (или использовать один из общеизвестных протоколов типа rsync) и уметь сохранять все POSIX-метаданные — такие, как mtime, права доступа, xattrs/ACLs, хардлинки и симлинки.

Например, взять Backblaze:

  • Backblaze Personal Backup ($5/месяц, неограниченный объём) имеет крайне привлекательную цену, но мне не подходит, т. к. нет линуксового клиента;
  • B2 Cloud ($5/(месяц*TB)) — уже дороже, но оно представляет собой «тупое» object storage без поддержки метаданных на файлах.

Иными словами, нужно облако, в которое можно заливать бэкапы пофайлово (а не одним большим tar-архивом), при этом не теряя метаданные. Если есть что-то, что понимает формат btrfs send — оно тоже подойдёт (но вряд ли такие существуют).

Помимо этого (вполне возможно, что таких нет), я буду рад услышать об инструментах для бэкапа, умеющих работать с object storage напрямую. Один уже назвали — duplicity.

★★★★★

Последнее исправление: intelfx (всего исправлений: 5)

Если есть что-то, что понимает формат btrfs send — оно тоже подойдёт

Отличная шутка.

King_Carlo ★★★★★
()
Ответ на: комментарий от Deleted

Amazon S3 (и Glacier) — это тоже тупое object storage. Не подходит.

intelfx ★★★★★
() автор топика
Ответ на: комментарий от Deathstalker

3.30 ₽/ГБ в месяц

Слишком дорого.

intelfx ★★★★★
() автор топика
Ответ на: комментарий от anonymous

Интересно. А в чём подвох? Или действительно $5/месяц с неограниченным объёмом пространства?

---

А, ACL/xattrs не умеет.

intelfx ★★★★★
() автор топика
Последнее исправление: intelfx (всего исправлений: 1)

На сайте world backup day помню натыкался на ссылку с обзором сервисов онлайн бэкапов, вот она может поможет.

greynix
()

На правах слабоумия и нищебродства

Я тут пилю блочное устройство поверх пастебинов :3 Но хз даже, потянет ли результат 8Тб (думаю, счастье будет, если потянет 8Гб), и таки там будет больше подходить f2fs

derlafff ★★★★★
()
Последнее исправление: derlafff (всего исправлений: 1)
Ответ на: комментарий от kalterfive

Мало и дорого. Я разорюсь платить за 8TB. Не говоря уже о том, что это всё то же самое блочное хранилище без метаданных (т. е. оно строго хуже backblaze).

intelfx ★★★★★
() автор топика

Почему не взять dropbox business? Там 10 баксов за юзера, 5 юзеров минимум, анлим. То есть за 50 бакинских получаешь анлим, можешь еще и разным людям папок нараздавать, если надо.

DiKeert ★★
()
Ответ на: комментарий от DiKeert

Почему я агитирую за dropbox - у него есть история версий файлов, на 30 дней. Можно за бабло расширить до 1 года. Имхо для казуального использования - самое оно. Поставил, включил, работает.

DiKeert ★★
()
Ответ на: комментарий от DiKeert

Потому что object storage на моих объёмах я могу заиметь и за $20/month. Дропбокс дороже backblaze и у него нет преимуществ.

intelfx ★★★★★
() автор топика
Последнее исправление: intelfx (всего исправлений: 1)
Ответ на: комментарий от DiKeert

Неужели так трудно прочитать заглавное сообщение треда?

Мне не нужно «казуальное использование». И история версий файлов тоже как собаке стоп-сигнал — тем более такая, которая никак не скриптуется.

Есть вполне конкретный список пожеланий: инкрементальная синхронизация и хранение всех POSIX-метаданных (mtime, permissions, xattrs, ACLs, жёсткие и символические ссылки). Дропбокс последнее не умеет.

intelfx ★★★★★
() автор топика
Последнее исправление: intelfx (всего исправлений: 1)

Рекомендую посмотреть в сторону или файловых систем, работающих поверх объектного хранилища (пример: s3ql), или систем бэкапирования, умеющих работать с объектными хранилищами (пример: duplicity).

Harliff ★★★★★
()
Ответ на: комментарий от Harliff

О, круто, такое уже есть. Я уже было вознамерился свой велосипед писать.

intelfx ★★★★★
() автор топика
Последнее исправление: intelfx (всего исправлений: 1)

ТС, напиши на каком сервисе остановишься в итоге, какой клиент и сколько заплатишь. Последнее разумеется необязательно.

anonymous_sama ★★★★★
()
Ответ на: комментарий от Harliff

Duplicity.
Можно бакапить на s3. Запускалка для duplicity : Backupninja. Там есть шаблоны.

Bers666 ★★★★★
()

Допустим, мне нужно куда-то бэкапить 8 терабайт различного хлама.

Ну вот и прикинь среднюю стоимоть 8 терабайт сейчас, + затраты на эл/эн и обслуживание. За 5$ в месяц тебе никто ничего не продаст вменяемого.

Поэтому ставь NAS под кровать. Или GTFO. Губу а то раскатал, дорого ему.

anonymous
()
16 февраля 2017 г.
Ответ на: комментарий от anonymous_sama

К сожалению, пока ничего не видно. duplicity работает по принципу «full + цепочка incremental», а всякие block-level incremental вещи типа Attic/Borg работают только с файловыми системами и наверняка интенсивно используют random access.

intelfx ★★★★★
() автор топика
Ответ на: комментарий от Bers666

Тем, что придётся либо раз в несколько месяцев аплоадить 8 TB заново, либо держать и при восстановлении скачивать 50% мёртвых данных.

intelfx ★★★★★
() автор топика
Ответ на: комментарий от intelfx

Нет, это было issue, я прочитал про «поддержку B2» прямо из поискового запроса. Зато когда я перепроверил поддержку B2, я случайно нашел какой-то hubic, тоже с очень интересными ценами.

anonymous_sama ★★★★★
()
1 июля 2017 г.
Ответ на: На правах слабоумия и нищебродства от derlafff

Как результат?

Как ты данные хранить хотел? По какому принципу конвертировать в символы? Потери большие?

Я раньше с картинками хотел такое сделать, потери меньше 0.10% на заголовки при максимальном размере в вконтакле в 2 мб. Если больше, то начинает работать сжатие, и данные убиваются. Потом осознал, что это дрочево и бред, и забил. Хотя, в теории, так можно хранить продуктивно какие-то данные типа фильмов, и фиг их кто изымет. Но мне это не нужно и поэтому забил. Хотя скрипт для конвертирования данных в картинки до сих пор остался.

letni
()
Последнее исправление: letni (всего исправлений: 1)
Ответ на: комментарий от letni

Как результат?

Забил, кончилось время на этапе, когда пытался достичь стабильной записи-чтения. Где-то баг был плохой.

Как ты данные хранить хотел? По какому принципу конвертировать в символы? Потери большие?

base122. Дисковый блок по идее умещается в типичную пасту

derlafff ★★★★★
()
Последнее исправление: derlafff (всего исправлений: 1)
1 июля 2018 г.
Ответ на: комментарий от anonymous

А оно уже научилось сжимать файлы в 2018 году?

anonymous
()
27 августа 2018 г.

Так что всё таки нашёл, ТС? вроде restic неплох, единственное почти, что умеет Google storage нативно.

Bers666 ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.