LINUX.ORG.RU

[катастрофа] Развалился RAID-5


0

0

В RAID5 15 дисков (1 избыточный) + 1 запаска

Последовательность, похоже, была следующая:

1) вышел из строя один диск (его проверили и действительно там была ошибка) - вполне рутинная ситуация (уже случалось несколько раз).

2) Сбойный диск был штатно выведен из RAID и к RAID стал автоматом подцепляться запасной диск.

3) Похоже что-то в процессе репликации данных произошло и в результате запасной диск подцепиться не смог плюс отвалился ещё один диск.

На дисках были критичные экспериментальные данные и не для всех из них были резервные копии. Часть данных видна и даже доступна, но копируемые файл не консистентны (это bzip2 архивы, каждый из которых по 300 Мб - жали тоже не от сильно хорошей жизни). Собственно говоря, что делать?

Пока в планах следующая последовательность действий:

1) снять образы с дисков и попробовать восстановить самостоятельно. Кто-нибудь знает какими следует воспользоваться программами восстановления RAID? Мне показали одно из произведений какой-то из московских контор, но там странное ограничение на 14 образов дисков (у нас 15)?

2) Обратиться к специалистам по восстановлению данных. На сколько я понимаю, для RAID такого объёма только «на посмотреть» требуют от 60 килорублей, что естественно вполне реально в нашем случае, но я не уверен в результате.

Принимаются любые советы и идеи.

★★★★★

Мне показывали вот эту http://www.runtime.org/raid.htm софтину

Погуглив я нашёл следующие описания решения проблемы:

http://www.freesoftwaremagazine.com/articles/recovery_raid

http://www.opennet.ru/base/sys/raid5_sync.txt.html

Думать сейчас вменяемо не могу ибо ночь :( Если у кого-то есть «истории успеха», то приму их с благодарностью.

Evgueni ★★★★★
() автор топика

>запасной диск подцепиться не смог

Попробовать повторить,возможно, процедуру состыковки? Не факт, конечно что пройдёт. Но может вручную через mdadm

darkshvein ☆☆
()

raid-то аппаратный или программный?
Если аппаратный - то пинать и техподдержку производителя контроллера, ибо «что-то произошло в процессе репликации» может быть их косяком. Ну и они могут что-нибудь толковое подсказать, ибо знают как их контроллер устроен.
Если программный средствами mdadm (сомневаюсь что это так, не на 15 дисков), то лучше связаться с девелоперами ядра.

CyberTribe ★★
()
Ответ на: комментарий от darkshvein

У нас железный RAID5 (один из первых Axus'ов), то есть наружу из коробки торчит SCSI кабель и видим мы просто два больших и уже собранных диска. Доступа до физических дисков в первом приближении мы не имеем.

Evgueni ★★★★★
() автор топика
Ответ на: комментарий от CyberTribe

> Если аппаратный - то пинать и техподдержку производителя контроллера, ибо «что-то произошло в процессе репликации» может быть их косяком. Ну и они могут что-нибудь толковое подсказать, ибо знают как их контроллер устроен.

IMHO маловероятно из пинания что-то получится. Достаточно старенькая и совершенно не массовая коробка. Планировался вообще уход с этого хранилища - примерно на неделю опоздали :(

Evgueni ★★★★★
() автор топика
Ответ на: комментарий от Evgueni

Как вариант - они могут хоть какую-то нужную информацию знать. Связаться стоит.
Ну и, в будущем, стоит таки собирать raid10 вместо raid5. Конечно не так клёво в плане дискового пространства, зато надёжность и определённый шанс (не такой уж маленький, хотя и не очень большой) при сбое контроллера собрать этот 10-й raid программно через mdadm для спасения инфы.

Что касается проблемы - вам всё равно нужна техническая инфа по контроллеру, как оно работает с данными на диске в режиме 5-го raid-а.

Для начала - сделать образы дисков, потом попробовать заново этот массив собрать в контроллере (при неудаче всегда образы можно будет залить назад). бОльшая часть данных точно должна быть доступна.

CyberTribe ★★
()
Ответ на: комментарий от CyberTribe

> Ну и, в будущем, стоит таки собирать raid10 вместо raid5.

На тот момент была только поддержка RAID5. А на будущее нужно хотя-бы две копии всего иметь в разных здания. Но это я и так знаю, только в данный момент это не поможет.

Evgueni ★★★★★
() автор топика
Ответ на: комментарий от CyberTribe

> Как вариант - они могут хоть какую-то нужную информацию знать. Связаться стоит.

O'k - поставлю в план.

Evgueni ★★★★★
() автор топика

Сомневаюсь, что без помощи вендора железки удастся что-то сделать.
Такие уж они, железные рейды.

Соболезную.

nnz ★★★★
()
Ответ на: комментарий от Evgueni

Ну я ж не знал что он железный. Расковырять тогда эту коробочку и пробовать состыковать средствами начиная с mdadm и заканчивая всякими закрытыми решениями с иными алгоритмами доступа к raid.

darkshvein ☆☆
()
Ответ на: комментарий от darkshvein

В планах так и стоит. Сейчас начали снимать образы дисков.

Evgueni ★★★★★
() автор топика
Ответ на: комментарий от Evgueni

Сочувствую, есть положительный опыт только софтверного 5го райда, и то в случае небольших дисков: 80-200 ГБайт. Типа как описано на опеннете.

500 и выше ведут себя ужасно, лотерея при сборке после сбоя :(. Теперь только 10й и зеркалирование.

psv1967 ★★★★★
()
Ответ на: комментарий от madcore

> А отвалившиеся диски не подлежат восстановлению?

Формально проверить и восстановить плохие сектора мы можем (более того уже сделали), но как сказать RAID контроллеру что с этими дисками всё в порядке мы не знаем. В программке управления нет таких возможностей.

Evgueni ★★★★★
() автор топика
Ответ на: комментарий от psv1967

> 500 и выше ведут себя ужасно, лотерея при сборке после сбоя :(. Теперь только 10й и зеркалирование.

Я думаю для 2ТБ дисков нет необходимости в RAID - они и так большие. Для бэкапа просто организовать дешёвый NAS и по ночам синхронизоваться.

Evgueni ★★★★★
() автор топика
Ответ на: комментарий от Evgueni

Если время простоя не критично, то можно так сделать. Но все равно неприятно при сбое, как правило он произойдет в самый неподходящий момент времени :(.

А 10й мне ещё очень понравился скоростью работы. Машинка современная намного более сбалансированной получается.

psv1967 ★★★★★
()
Ответ на: комментарий от psv1967

Попробуй вантузообразную прогу R-Studio, но образ с дисков сделать нужно!

vasya_pupkin ★★★★★
()
Ответ на: комментарий от psv1967

> Если время простоя не критично, то можно так сделать.

IMHO четыре девятки IMHO нужно только при управлении атомным реактором. В реальной жизни двух девяток за глаза.

Evgueni ★★★★★
() автор топика
Ответ на: комментарий от anonymous2

Вроде, восстановили, тьфу-тьфу-тьфу. Виртуальные диски собрали с помощью Raid Reconstructor, вытащили для пробы несколько файлов и они оказались консистентными. Сейчас восстановленный образ всего RAID копируется - то есть к понедельнику будем делать следующие шаги.

Как такое приключилось до сих пор не понятно.

Evgueni ★★★★★
() автор топика
Ответ на: комментарий от Evgueni

Где то была статья о ошибках чтения записи возникающих на жестких дисках. На терабайте чтения/записи получить ошибку не так уж нереально.

psv1967 ★★★★★
()
Ответ на: комментарий от psv1967

> Где то была статья о ошибках чтения записи возникающих на жестких дисках. На терабайте чтения/записи получить ошибку не так уж нереально.

Подобное мы уже ловили. На некоторых последовательностях байт (отловили где-то мегобайтовый кусок данных при усекновении которого ещё эффект не работал) начинал сбоить контроллер. Поэтому все файлы заходов имеют известные контрольные суммы.

Evgueni ★★★★★
() автор топика
Ответ на: комментарий от Evgueni

По моему есть красивая технология генерить х% избыточности к записываемому файлу, тогда ошибка совсем не страшна.

psv1967 ★★★★★
()
Ответ на: комментарий от psv1967

> По моему есть красивая технология генерить х% избыточности к записываемому файлу, тогда ошибка совсем не страшна.

Если возникает проблема, то проще файл переписать из гарантированного источника, а если проблема повторится, то устранить источник.

Evgueni ★★★★★
() автор топика

Старая шутка: есть два типа системных администраторов: те, кто еще не делает бекапов, и те, кто уже делают.

С хардварным старым рейдом все очень сложно. Соболезную.

azure ★★
()
Ответ на: комментарий от Evgueni

Я начинаю быть сторонником варианта, когда действительно длинные файлы пишутся с избыточностью в 10%.

Каналы передачи становятся не очень надёжными для передачи таких объёмов, а затраты времени и подручных ресурсов на восстановительные работы слишком внушительными.

Если даже предположить что 15 МБайт/с скорость переполучения информации, то жалких 100 Гиг придётся переполучать почти 2 часа.

Причём через всё тот же ненадёжный канал :)

psv1967 ★★★★★
()
Ответ на: комментарий от azure

> Старая шутка: есть два типа системных администраторов: те, кто еще не делает бекапов, и те, кто уже делают.

Шутка уже здесь повторялась. Магнитофон накрылся, так что всё случилось в не самый подходящий момент времени. Хотя магнитофон накрылся довольно давно и можно было эту проблему как-то порешить.

Evgueni ★★★★★
() автор топика
Ответ на: комментарий от psv1967

> Если даже предположить что 15 МБайт/с скорость переполучения информации, то жалких 100 Гиг придётся переполучать почти 2 часа.

В нашем случае особых проблем нет, т.к. файлы по 300 Мб и проблем с их перемещением давно не фиксировалось.

Evgueni ★★★★★
() автор топика
Ответ на: комментарий от azure

> Старая шутка: есть два типа системных администраторов: те, кто еще не делает бекапов, и те, кто уже делают.

Мне нравится более жёсткий вариант этой шутки. «И те, которые уволены».

/Евгений, это не к Вам, всё понятно, просто не удержался... :)

sin_a ★★★★★
()
Ответ на: комментарий от sin_a

Не проблема: у нас просто нет никаких администраторов :) Для нас это деятельность как хобби.

Evgueni ★★★★★
() автор топика

Странно, что никто не спросил про модели дисков. Они raid edition или обычный бюджетный вариант? Второй вариант втыкать в хардный рейд без зеркалирования лучше не стоит.

soomrack ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.