Нужен совет: Soft RAID 1 + Cluster FS

Давным давно (лет 5-7 назад) игрался с XFS и была пара потерь достаточного числа файлов и повреждение файловой системы. Один раз из-за питания на рабочей станции, второй раз из-за бага в ядреном модуле на сервере (завис => Alt-SysRq-S/U/S/1 минута/B). EXT3/EXT4 оказались менее требовательными в таких случаях (меньше данных теряют), поэтому я совсем отказался от XFS. Но это не значит, что текущая реализация XFS в Linux плоха.

Сейчас есть 2 несильно нагруженных (где то 7-10 пользователей на каждый) файл-сервера с EXT4, SoftRAID1, без ACL:
1. P100/64Mb - файлы офиса, Samba :) жил до недавнего времени, когда директор на всякий решил его махнуть на новый.
2. AMD3500-2xCore/512Mb - около 50 1С 7.x крутится, Samba, гигабитная сеть, на этом важна скорость отдачи и надежность хранения. Отдаёт быстро по измерениям выше 10-15Мб/сек (но это исходящего трафика, а не данных).

Хватает всем, никто не жалуется.

Про кластер самому интересно послушать.

А зачем тут кластерная фс, для простой файлопомойки?

требование начальства 24/7 работоспособность. Поломается железка какая-нибудь, хартбит перекинет роли на резервную ноду. дрдб, соответственно, для синхронизации данных хочу. Или так не правильно?

Есть задача построить отказоустойчивую файловую помойку, бюджет не высок (до 30-40к на сервер) Главная цель: работа 24/7

• mdadm raid1
• drbd primary/slave
• pacemaker+corosync

Для DRBD 4-головая карта intel на оба сервера в bonding.

Насколько требовательна такая система к ресурсам?

Оверхеда за счет mdadm+drbd не много будет по ресурсам. Главное качественное сетевое оборудование для репликации.

Все правильно, только кластерная фс тут не нужна, хватит ext4. Синхронизация фс будет через дрбд. Ну и про бэкап не забудь.

Хватит ext4, у меня на генте ща два таких кластера запущена.
Только вот если файлопомойка, то zfs получше будет.

А это уже значит привет фря или соляра.

Ну и про бэкап не забудь.

Присоединяюсь.

Я недавно поднимал дома NAS, остановился на zfs, правда не линукс, фря. Уложился в 2500 грн, это тысяч 9 рублей. Для zfs лучше не экономить на памяти, все остальное можно подобрать достаточно бюджетное.
Думаю когда zfs станет достаточно стабильна можно будет перейти на линукс. Единственный наверное вариант софт рейда, который может работать и на фре и на линуксе это raidz (поправьте если не прав тут).

Уложился в 2500 грн, это тысяч 9 рублей. Для zfs лучше не экономить на памяти

Гм :) UPS видимо уже был, раз бюджет такой небольшой?

много памяти + файловый сервер + обрыв электричества без UPS = потеря многих данных ;)

Ага, сорри не учел, UPS домашнего десктопа заюзал.

была задача у меня такая.... Собрать облако и поставить несколько серваков по разным районам города с отдачей контента, так вот... Я очень долго смотрел на гластерфс, сейчас это дело пихают в REDHAT под названием STORAGE SERVER Но я поюзал опенсорсный гластер из джита, на самом деле тема очень хорошая, разруливаешь по DNS, один падает сервак данные на другом остаются, но там была обнаружена глобальная проблема, записывая файл на ноду объемом = объему свободного места на той ноде куда пишется этот файл и все, файл не записывается дальше... Ну и там с параллельным копированием есть проблемы. Может сейчас уже поправили, на тот проект я забил, из-за других дел, но тема на самом деле хороша. А вообще есть сейчас серваки с двумя блоками питания, я думаю можно потратить 70к на такое дело. А насчет кластерных файловых - все это пока очень сырое. Надо сидеть и тестить их месяцами и также комитить баг репорты, чем я и занимался в свое время и дофигища общения в мирке с разрабами гластера. Попробуйте ее, она квотируемая и там есть собственный НФС сервер. Кстати по поводу софтовых рейдов... Лучше собирать на хардварном с батарейкой, я предпочитаю LSI RAID 6, юзаю 9260-8i очень неплохая железка, есесно с горячей заменой

хардварный рейд ни как не подходит. боюсь, при погибании контроллера, не найти чем заменить, а в случае апокалипсиса всегда можно винты на другую тачку перекинуть.

+1

программный рейд куда нестабильней, чем аппаратный, я администрирую порядка 6 серверов на аппаратном рейде и примерно столько же на программном, разница ощутимая. хороший аппаратный рейд всегда лучше, я не про встроенные в десктопные/серверные мамки сейчас говорю, а о каком-нибудь LSI или Adaptec

А в чем не стабильность по Вашему мнению?

из-за глюков mdadm может случаться непредвиденное, ну например когда синкаются винты и случайно пропадает питание, есть возможность легко не загрузить систему и восстанавливать рейд с лайфцд

После такого может много чего случиться и без mdadm. А что-нибудь подтверждающее

программный рейд куда нестабильней

есть.

вот как раз при данных обстоятельствах с пропаданием электричества страдает больше программный, это по опыту могу сказать

это все проблемы?

бывает при работе диск вылетает, хотя он чистый и бэдов нет, хрен поймет почему вылетел, в системе есть в рейде нет

SMART, dmesg могут быть полезны в этом случае.

там все ок, просто ядро выкаблучивается

там все ок, просто ядро выкаблучивается

ох какая сила убеждения себя

тогда все ясно