mdadm: зеркалирование партиции vs зеркалирование харда целиком

Лучший способ избавиться от Linux и перейти на FreeBSD c ZFS — зазеркалировать какой-нибудь хард целиком. ;)

FreeBSD тут не катит, ибо будет вертеться XEN.

Да-да, были у меня когда-то серваки, доставшиеся по наследству от параноика вроде тебя. Своп на рейд1 просто убил :D

Хотя, конечно, если делать vg поверх md, получится очень надежная, быстрая и гибкая структура. Но своп, как и boot, я бы сделал отдельно.

>Лучший способ избавиться от паранойи или переехать на ПМЖ в психушку — зазеркалировать какой-нибудь хард целиком, вместе со свопом ;)
Obvious fix

>будет вертеться XEN

Будешь держать образы дисков в отдельных файлах на зеркалируемом разделе?

Своп на рейд1 просто убил :D

Что не так со свопом на рейде? Если выйдет из строя раздел со свопом серверу конец, для этого его и резервируют. С бутом так же, при этом ещё и загрузчик на два винта дублируют.

Ник соответствует посту.

/me держит образы дисков XEN в отдельных файлах на зеркалируемом разделе и просто жаждет узнать, что он делает не так.

Зерклируй раздел.

:drink:

>Что не так со свопом на рейде? Если выйдет из строя раздел со свопом серверу конец, для этого его и резервируют.

Гениально. А делать по одному свопу на каждом винчестере, безо всяких рейдов, не пробовал?

>/me держит образы дисков XEN в отдельных файлах на зеркалируемом разделе и просто жаждет узнать, что он делает не так.

Я не говорил «не так» :)
Меня всего лишь интересует эффективность хранения образов дисков прямо поверх /dev/md*

> А делать по одному свопу на каждом винчестере, безо всяких рейдов, не пробовал?

А теперь представьте, что один из дисков умер. IMHO, система у Вас повиснет при такой конфигурации (при условии, что swap на данном диске использовался).

>А теперь представьте, что один из дисков умер.

Ситуация чисто гипотетическая и имеет мало общего с реальностью. На практике обычно встречаются два варианта:
1. Повреждение данных на диске вследствие появления бэдблоков. Ну вывалится пара особо жадных прог с сегфолтом. Все равно вскоре монитор смарта запустится по крону и сделает больному swapoff, попутно написав гневное письмо админу.
2. Ручная замена диска. Тогда админ сам делает mdadm --remove и swapoff.

> Ситуация чисто гипотетическая и имеет мало общего с реальностью.

Какая-то странная у Вас реальность. Диски - расходный материал и делятся на тех, которые уже умерли, и те, которые умрут в ближайшее время. К сожалению, SMART не панацея и довольно редко может вовремя предупредить о проблемах. К сожалению, внезапная гибель дисков - отнюдь не редкость (по своему опыту могу сказать что из приблизительно 3-х десятков винтов за год погибли 3, причем только один из них выдал ошибку SMART).

Ну вывалится пара особо жадных прог с сегфолтом.

Вы считаете, это нормальная ситуация для сервера?!

>по своему опыту могу сказать что из приблизительно 3-х десятков винтов за год погибли 3, причем только один из них выдал ошибку SMART

Т.е. винт дохлый, а smartctl --all говорит, что все хорошо и все показатели в норме? Потрясающе :D

Вы считаете, это нормальная ситуация для сервера?!

Для сервачка мелкой и несерьезной фирмы — нормально.
Ну а у серьезных фирм диски критичных серверов отнюдь не напрямую соответствуют физическим разделам хост-систем. Виртуализация, знаете ли.

Свопа нужно пару гиг, при таких смещный объёмах его лучше разместить сразу на зеркале.

По поводу того что «ну и фиг что прога упадёт». Это может вызвать неконсистентность, например, базы данных если она упадёт со всеми вытекающими последствиями.

Можно говорить что всегда должны быть бэкапы, но лучше до бэкапов не доводить. Например, потому что они не всегда быстро накатываются или откат на предыдущее состояние нежелателен.

Ну и далеко не факт что два свопа как-то помогут системе потому что пока есть первый своп и он ручками не отключён во второй ничего кластся не будет.

>Свопа нужно пару гиг, при таких смещный объёмах

O_o Нафига при 16–32 гигах оперы (конфигурация средненькой хостинговой «рабочей лошадки») делать двухгиговый своп? Just for lulz?

По поводу того что «ну и фиг что прога упадёт». Это может вызвать неконсистентность, например, базы данных если она упадёт со всеми вытекающими последствиями.

Начнем с того, что своп в штатном режиме вообще использоваться не должен. И вероятность того, что пик нагрузки совпадет с моментом падения винта и система контроля железа не успеет принять меры, очень мала. Кстати, она легко контролируется периодом запуска контроля.

Ну и далеко не факт что два свопа как-то помогут системе потому что пока есть первый своп и он ручками не отключён во второй ничего кластся не будет.

Насколько я помню, рейды на разных винтах используются в режиме чередования (аналог RAID 0).

O_o Нафига при 16–32 гигах оперы (конфигурация средненькой хостинговой «рабочей лошадки») делать двухгиговый своп? Just for lulz?

А что, по твоему при 16–32 гигах RAM своп вообще не нужен? Посмотри-ка на требования Oracle Database 11g к свопу:

RAM                              Swap Space
Between 1 GB and 2 GB            1.5 times the size of RAM
Between 2 GB and 16 GB           Equal to the size of RAM
More than 16 GB                  16 GB

Oracle Database Installation Guide 11g Release 1 (11.1) for Linux

>А что, по твоему при 16–32 гигах RAM своп вообще не нужен?

Я этого не говорил. Я спрашивал, нафига при 16–32 гигах RAM _двухгиговый_ своп.

Учимся читать то, что написано, а не то, что хотелось бы прочитать.

>Будешь держать образы дисков в отдельных файлах на зеркалируемом разделе?

Буду. Другие варианты исключены (не мной).

O_o Нафига при 16–32 гигах оперы (конфигурация средненькой хостинговой «рабочей лошадки») делать двухгиговый своп? Just for lulz?

а ты сделай и посмотри что будет через день работы. Всякого барахла туда много упадёт(гигабайты). Особенно на хостинговых тачках.

Начнем с того, что своп в штатном режиме вообще использоваться не должен.

См. выше. vm.swappiness тут будет сильно влиять.

Насколько я помню, рейды на разных винтах используются в режиме чередования (аналог RAID 0).

в смысле своп? он по приоритетам заполняется. Если два раздела имеют равный приоритет то никакого чередования не будет.

>а ты сделай и посмотри что будет через день работы. Всякого барахла туда много упадёт(гигабайты). Особенно на хостинговых тачках.

Посмотрел на первых двух попавшихся под руку машинках. Своп практически стерилен. Правда, это были не продакшены, а говнороутеры со 128 метрами оперативки и аптаймом под три года (vm.swappines = 60).
Могу в принципе и на продакшены сползать... только они не веб-хостинговые, и структура у них на виртуализацию завязана, так что вряд ли результат будет общественно-показательным :)

Если два раздела имеют равный приоритет то никакого чередования не будет.

Странно, мне казалось как раз наоборот. Можешь ссылку на ман кинуть?

Могу в принципе и на продакшены сползать...

Ну на говнороутере своп и не должен особо использоваться. У меня 6гигов барахла в своп влезло на на 16-гиг вебсервере.

Можешь ссылку на ман кинуть?

man 2 swapon . Походу, я ошибся.

> Т.е. винт дохлый, а smartctl --all говорит, что все хорошо и все показатели в норме? Потрясающе :D

Не, не так. Сначала все хорошо (по мнению smartctl), а потом все - винт не раскручивается. У Вас так никогда не было?

Для сервачка мелкой и несерьезной фирмы — нормально.

Несерьезных фирм не бывает. И размер тут не показатель. Любой бизнес - это чьи-то деньги. И такое безалаберное к ним отношение, увы, не характеризует Вас как серьезного специалиста :(. Тем более, что поместить swap на зеркало ровным счетом ничего не стоит... Вряд ли несколько GB места представляют проблему даже для мелкого сервера.

>Не, не так. Сначала все хорошо (по мнению smartctl), а потом все - винт не раскручивается. У Вас так никогда не было?

Было. Шлейф вывалился :) Системе было пофиг, ибо корень и хомяк лежали на пятом рейде, а свопом она вроде как и не пользовалась.

На моей нынешней работе мне с продакшеновым железом дело иметь практически не приходится — для этого есть специально обученные люди и скрипты.

Любой бизнес - это чьи-то деньги.

В жизни часто бывает так, что надежность вовсе не является обязательным требованием. Например, иногда меня друзья просят подержать NS-ки пару часов, пока они домены регают. Потом от этих нсок целый год никакой надежности не требуется.
А бывает и такой «бизнес», в который даже деньги практически не вложены. Ну поставил Вася Пупкин на списанном десктопе убунту-сервер с openvz-ядром, ну считает себя мега-VPS-хостером... Впрочем, к теме это уже слабо относится.

И такое безалаберное к ним отношение, увы, не характеризует Вас как серьезного специалиста :(

Да не переживайте вы так. Мое нынешнее начальство вполне довольно моей квалификацией, а я вполне доволен работой и уровнем зарплаты. Сельская идиллия в полный рост :)