Распределённая фс для бекапов?

DRBD

DRBD

Оно же делает простой mirroring на слейвы, не? Я бы не назвал это «распределённой фс».

Относительно простой, отвечающей требованиям - не существует.

XSan ?

Ну можно и не простой, требования первостепенны :)

Csync2 ?

Самое близкое их того, о чем я слышал - CephFS, но она еще не готова к продакшену. Можно навернуть поверх созданного Ceph блочного девайса любую ФС, но это уже не будет распределенная ФС. Тебе точно нужна именно распределенная?

А тут на лоре лет 5 назад хвалили Andrew File System (AFS), что на счёт неё?

Нужна, потому что скорее всего в течении времени это вылезит в некий комершл - не хочу подставлять людей. А что на счёт GlusterFS?

А тут на лоре лет 5 назад хвалили Andrew File System (AFS), что на счёт неё?

AFS не распределенная, AFAIK. Это «правильная NFS».

А что на счёт GlusterFS?

Теоретически, она тоже отвечает требованиям, но ей я интересовался еще меньше, чем Ceph.

Советую потестировать под свои задачи. У гластера много вариантов конфигурации. Я вот только в режиме реплики использовал. Из проблем запомнился этот баг с утечкой памяти https://bugzilla.redhat.com/show_bug.cgi?id=1093594

А что на счёт GlusterFS?

У нас используется под репозитории. Кластер из трех нод.

AFS не распределенная, AFAIK

Хм, википедия пишет что распределённая. Я, правда, пока особо не вникал, но реплики чанков там заявлены. Ладно, надо будет как-нить собраться с духом и потестить.

Хм, википедия пишет что распределённая.

У Wiki и NFS распределенная.

Тогда погоняю его, у вас стейбл? Какая версия нормально поживает?

Я решал подобную задачу. Ещё в запросах стояло прозрачное изменение нод в кластере. Добавление/убирание на лету. Из «официального» подошёл только glusterfs. И даже всё прекрасно с виду было. Пока не наткнулся на проблемы с тормозами и затыками в случае разнесённых датацентров и неширокого канала. Асинхронная георепликация там только в одну сторону. Для бэкапа сгодится, но мне нужен честный мастер-мастер.

...

Почесал я репу, погонял реальные данные, да и вернулся на старый добрый lsync (это inotify-демон, который дёргает rsync для изменений в ФС). Там только одна бяка, с которой нужно быть осторожным — по дефолту не разрешать удаление. А то так отмонтируется том на одном мастере, второй подумает, что всё удалено и грохнет тоже. Вернёшь потом первый — он грохнет всё как и на втором. Я так потерял однажды часть данных, в «настоящем» бэкапе не всё было... Так что сейчас в lsync удаление запрещено, а реальное удаление, которое требуется редко, делается периодически по обычному rsync.

Неширокий канал это < 1 GBps?

Гео конечно было бы прикольно, потому что я пока не придумал про интерфейс для слива данных, но это пока все в процессе :)

Неширокий канал это < 1 GBps?

Это что-то около 20-30 реальных Мбит/с :) Столько примерно получается у меня от Хетцнера в Россию качать одним потоком.

Ну так себе, в принципе если оно норм на сотке будет шевелиться (я имею ввиду неспешную репликацию) - тогда всё в шоколаде :)

чисто теоретически еще существует XtreemFS, вроде по спекам должна подойти, но мопед не мой, сам не пользовался

А что на счёт GlusterFS?

хочешь по утрам просыпаться в холодном поту? Тогда гластерфс твой выбор.

Ну так себе, в принципе если оно норм на сотке будет шевелиться

Просто шевелиться оно и на куда более медленном канале будет. А вот если потребуется синхронизировать десятки/сотни гигов с локальным трафиком на терабайты в месяц (мой случай) — тогда, боюсь, и сотки будет маловато :-/ В общем, я большие надежды на gluster возлагал, но обломался...

Тогда погоняю его, у вас стейбл?

Да. Все деб репы живут на гластере.

Какая версия нормально поживает?

apt-cache policy glusterfs-server 
glusterfs-server:
  Установлен: 3.5.2-2
  Кандидат:   3.5.2-2
lsb_release -a
No LSB modules are available.
Distributor ID: Debian
Description:    Debian GNU/Linux 8.1 (jessie)
Release:        8.1
Codename:       jessie

До дебиана была убунту 12.04. Там была версия 3.2.5.

Спс, а какая фс?

Смотрю что в тренде xfs, пока не врубился резонность этого.

Выглядит норм, но Java, фак. Пока ищу истории успеха с ней :)

Что посоветуешь тогда?

Пока кроме него все кажется немного сырым, оно же пилится красношапкой.

Xfs, ну хотябы с инодами нет проблем, как на ext4

Что посоветуешь тогда?

все гавно. хоть садись и свою пиши.