Debian: EXT4 journal и md RAID10 после выключения перестраивается зачем?!

Весь массив грохнулся, а вы чего-то хотите?

RAID-10 не защищает от сбоев во всех носителях, а обнаруживает и локализует проблему одного и/или двух (в разных парах) винчестеров.

В вашем случае получился искусственный аппаратный сбой всех носителей.

вероятно информация не на все диски успела записаться.

не я всё понимаю, так ведь ЖУРНАЛИРОВАНИЕ!!!!
если транзакция файловой системы не прошла до конца, она не записывается на диск. в этом же весь и смысл!!!!
а raid10 в данном случае рассматривается как одиная файловая система с одним разделом... по идее массив выжить должен был... сейчас вот проверит тоже самое на RAID1 массиве таком же, просто рядом с такими же дисками тоже с EXT4+J, и чота всё замечательно выжило, ничо не рассыпалось.

man mdadm на предмет bitmap чтобы быстро пересобиралось.

raid и ext4 системы полностью ортогональные и у каждой свои методы обеспечения целостности и надёжности. raid обеспечивает синхронизированность массива а ext4 валидность метаданных.

>но что будет например с валидностью базы данных

Вы тут собрали всё в кучу. Разные уровни, разные понятия надёжности. Журналирование файловой системы бывает разных типов (данные или только метаданные) и в общем случае не гарантирует целостность базы данных на ней. Вот, например, в PostgreSQL существует журнал транзакций. RAID не расчитан на вырубание питания, на аппаратных RAID'ах бывает отдельная батарейка, позволяющая не обесточивать контроллер.

Господа, погодите, я наверное не совсем ясно изъясняюсь,

журналирование EXT4 на мой взгляд как раз расчитано на то, чтобы например при выключении питания файловая система оставалась консистентной. и в случае выключения питания RAID1 она остается таковой без перестроения, а в случае RAID10 почему то требуется перестроение, вопрос в общем только в этом....

что такое «перестроение»? Если ресинк рейда то он не потребуется только в двух случаях: тачку выключили корректно или есть батарейка на рейде.

Если файлухи то журнал накатывается всегда когда стоит dirty-флаг.

журналирование EXT4 на мой взгляд как раз расчитано на то, чтобы например при выключении питания файловая система оставалась консистентной. и в случае выключения питания RAID1 она остается таковой без перестроения, а в случае RAID10 почему то требуется перестроение, вопрос в общем только в этом....

Ещё раз - RAID и ФС работают на разных уровнях. RAID ничего не знает о том, что где-то там есть ФС. У него есть только массив с записанными на него данными, не имеющими никакого формата. Ext4 ничего не знает про RAID. Для неё существует только блочное устройство на котором можно читать/писать данные.

перестроение т.е resync (reconstruction) самого массива.

да согласен, а почему тогда при некорректном выключении не делается resync на raid1? (на freebsd UFS на GEOM RAID1 если выключать некорректно, ресинк сессно всегда делается) а тут на EXT4 не делается!

[quote]Ещё раз - RAID и ФС работают на разных уровнях. RAID ничего не знает о том, что где-то там есть ФС. У него есть только массив с записанными на него данными, не имеющими никакого формата. Ext4 ничего не знает про RAID. Для неё существует только блочное устройство на котором можно читать/писать данные.[/quote]

Совершенно с Вами согласен, и что из этого следует касаемо вопроса валидности данных при использовании журналирования файловой системы?

Хорошо, а если немного по другому поставить вопрос:

независимо от необходимости и выполнения ресинка рэйда, останется ли консистентной база данных на журналируемой EXT4 при некорректном выключении питания?

Не факт.
Именно по этому нужен ups, умеющий выключать сервак и бэкапы на незавитсимый носитель.
RAID мало даёт для сохранности данных, больше для устойчивости к сбоям.
Для сохранности данных нужно резервной копирование. Журнал при активном обращении к фс в момент отключения мало поможет.

и что из этого следует касаемо вопроса валидности данных при использовании журналирования файловой системы?

Из этого следует то, что журнал ФС никаким образом не может (и не должен) помогать рассыпавшемуся RAID'у.

могу добавить:

при настройках EXT4: (ядро 2.6.30, 2х500 raid1, 4x500 raid10)
data=ordered
barrier=1
-J size=1024

RAIDы собраны с параметрами BITMAP=INTERNAL
mdadm -C -v -l10 -n4 -b internal --name raid10 /dev/md1
mdadm -C -v -l1 -b internal -n2 --name raid1 /dev/md0

опции монтирования
/dev/md127 /mnt/raid10 ext4 defaults,rw,acl,nodelalloc 0 1
/dev/md126 /mnt/raid1 ext4 defaults,rw,acl,nodelalloc 0 1

если выключить питание во время интенсивной записи на эти массивы (запись идет одновременно на каждый массив, скорость записи на каждый из массивов 95 мегабайт\сек)
то ПЕРЕСТРОЕНИЕ (resync, rebuild, reconstruction) всего массива НЕ ПРОИСХОДИТ!!!!!! МАССИВЫ ВЫЖИВАЮТ!!!!! проверил 3 раза для верности... подряд...


вот для информации общение разработчиков по этому поводу
(описание и обсуждение barrier от разработчиков)
http://lwn.net/Articles/283161/
общее описание фич
http://ext4.wiki.kernel.org/index.php/Ext4...s_on_by_default

fsck никаких ошибок после этого не находит и ничего не перестраивается

что касается performance impact при включении этих фич, то на мой radi10 из 4по500GB Seagate SATA2
скорость записи составляет 95-105 мегабайт в секунду, что для меня более чем достаточно.

> на аппаратных RAID'ах бывает отдельная батарейка, позволяющая не обесточивать контроллер.

тачку выключили корректно или есть батарейка на рейде.

Да вы чего... Батарейка на райде нужна для сохранения информации из кэша контроллера. Чтобы те 128/256/512 мегабайт данных, которые не успели записаться на винты, не потерялись и записались при включении питалова. Нужна для включения write caching.

журналирование фс — помогает fsck'ею по-возможности быстрее и правильнее отработать.
Всё. Это не транзакции БД.

далее проверяю отказоустойчивость

во время записи данных на массив дергаю по питанию сервер.

Это тест проверки UPS. Он у тебя есть? Хочешь проверить РЕЙД — дергай диск во время работы.

Цитируем MarvinFS

если выключить питание во время интенсивной записи на эти массивы (запись идет одновременно на каждый массив, скорость записи на каждый из массивов 95 мегабайт\сек) то ПЕРЕСТРОЕНИЕ (resync, rebuild, reconstruction) всего массива НЕ ПРОИСХОДИТ!!!!!! МАССИВЫ ВЫЖИВАЮТ!!!!! проверил 3 раза для верности... подряд...

Записал твое имя, когда придешь с плачем жаловаться на Линукс, который похерил твои данные из-за сбоев питания я тебе этот тред покажу. ОК?

>Батарейка на райде нужна для сохранения информации из кэша контроллера.

Совершенно правильно. А в случает soft-raid батарейки нет, а кеш как бы есть (ОЗУ компьютера), поэтму при вырубании питания soft-raid рассыпается, а точнее система не знает, целостный ли он и делает синхронизацию входящих в него дисков.

P.S. Лучше бы топикстартер купил не 4 винта, а 1 винт, а на сэкономленные деньги можно было бы купить нормальный UPS.

> останется ли консистентной база данных на журналируемой EXT4 при некорректном выключении питания?

нет не останется, файловая система ничего не знает о формате блоков данных которые пишет на неё СУБД, поэтому файловая система не может гарантировать их консистентность или согласованность, это задача самой СУБД.