LINUX.ORG.RU

RAID 6 + HS. Стоит ли домой?

 


0

4

На днях случайно узнал, что у меня из 10го выпал диск (заменил по гарантии уже). Узнал именно случайно. Т.к. интело-софт (фейк рейд на х99) не отрапортовал.

Задумался вот над чем:
- Продолжить собирать 10е - дороговато выходит (-50%);
- 5й - не вариант по ряду многократно обсосанных причин;
- 6й - вариант;
- Но хотелось бы еще и HS диск.

Вопросы:
1. Стоит ли такое Ъ собирать на «десктопных» дисках? Т.к. «рейдовые» диски стоят столько, что можно продолжать собирать 10е без контроллеров.
2. Можете посоветовать контроллер умеющий сабж из разряда «попроще» (подешевле)? Мега производительность не нужна совершенно. По сути это будет хранилище с редким доступом 1-2 пользователей. Подключать нужно хотя бы 8-10 дисков.
3. Я правильно понимаю, что в будущем, когда будет смысл покупать более емкие диски, их можно постепенно (по одному) добавлять в массив постепенно нарастив его емкость без потерь\переносов данных?

Вдогонку: Проблема cold data (редко обновляемые и считываемые данные) насколько актуальна? Часть файла может годами не трогаться. (Правда нахрена это хранить тогда?!)



Последнее исправление: dk- (всего исправлений: 1)

У RAID основанных на контроле чётности есть общие проблемы, проявляющиеся в определённых условиях.

Хардварные рейды не нужны в принципе.

anonymous
()
Ответ на: комментарий от anonymous

Поясни развернуто.

А то я уже начал паниковать. Наткнулся на статью, мол и 6й скоро пора хоронить, как пятый. Ввиду роста объемов.

dk-
() автор топика
Ответ на: комментарий от dk-

Поясни развернуто.

Да масса статей, почему плохо, без труда найдёшь.

А то я уже начал паниковать. Наткнулся на статью, мол и 6й скоро пора хоронить, как пятый. Ввиду роста объемов.

Сколько у тебя дисков?

anonymous
()
Ответ на: комментарий от anonymous

Что ты называешь контролем чётности? Какие RAID-режимы на нём не основаны?

anonymous
()
Ответ на: комментарий от anonymous

Хардварные рейды не нужны в принципе.

С чего ты взял??

anonymous
()

Аппаратный контроллер + десктопные не-рэйд диски - работать будет до первого бэда/долгочитаемого сектора... После чего - навернется медным тазом с большой вероятностью (как минимум - целиком вывалится проблемный диск по тайм-ауту).

cold data, расширение - для софт-рэйда без проблем (проверка раз в месяц не есть проблемой), для аппаратного - нужно смотреть мануал, может и не суметь.

NiTr0 ★★★★★
()
Ответ на: комментарий от NiTr0

работать будет до первого бэда/долгочитаемого сектора... После чего - навернется медным тазом с большой вероятностью (как минимум - целиком вывалится проблемный диск по тайм-ауту).

1. Первый бэд = Пауза, лаг, вылете целого диска, ожидание нового диска, ребилд ?

2. Первый бэд - все данныые ек?)

Т.е. если диски десктопные, то дальше сидеть на 10х без железяк?

dk-
() автор топика
Ответ на: комментарий от NiTr0

Ну так рейд и должен выводить диск из массива при обнаружении проблемы (и продолжать работать на оставшихся и/или вводить резервный диск). При чём желательно, чтобы он ещё проверял сами данные на лету чтобы обнаружить коррупцию ещё до возникновения ситуации, когда сектор перестал читаться вообще. Софтовый рейд этого точно делать не будет потому, что ему для этого придётся грузить проц сканированием считанных данных. Также софтовый рейд будет зависеть от сбоев ОС, а то и питания, если в системе не предусмотрен энергонезависимый кеш. Напр. ты пишешь один байт на диск, синкаешь - рейд при этом считывает по блоку с каждого диска, изменяет блок с контрольной суммой и записывает всё это обратно на диск. Поэтому такие операции надо кешировать, а чтобы не было такого, что после синка упал кернел или пользователь выключил питание и якобы синканутые данные пропали - нужен энергонезависимый кеш, который скорее всего тянет за собой аппаратное решение, например можно найти PCI-платы с батарейкой, реализующие аппаратный рейд.

anonymous
()
Ответ на: комментарий от dk-

1. Первый бэд = Пауза, лаг, вылете целого диска, ожидание нового диска, ребилд ?

Зависит от реализации. Даже в промышленных рейдах оно иногда так и может лагать, тормозя всю систему, пока кто-нибудь не догадается посмотреть в логи.

2. Первый бэд - все данныые ек?)

Тебе рейд для того и нужен, чтобы данные не делали ек при выходе N дисков из строя.

Т.е. если диски десктопные, то дальше сидеть на 10х без железяк?

Тебе рейд вообще для чего нужен - временно кешировать данные на время обработки панорам или для их надёжного хранения?

anonymous
()
Ответ на: комментарий от dk-

Наткнулся на статью, мол и 6й скоро пора хоронить, как пятый.

Хоронить пора тех, кто такие статьи пишет. Если следовать такой логике, то с ростом объёмов дисков любой raid превращается в мину, ибо время ребилда растёт, но на практике всё не так плохо.

King_Carlo ★★★★★
()
Ответ на: комментарий от anonymous

Ну ты писал, что десктопные диски опасны.
Если просто весь диск вылетит после первого беда - то хрен с ним. Новый поставить. Вопрос какие еще беды могут быть.

Теперь уже для хранения. Типа архив. К которому иногда нужен оперативный доступ. Все кэши стали влазить в ссд.

dk-
() автор топика
Ответ на: комментарий от King_Carlo

Во время ребилда 5-го рейда у тебя, фактически, нулевка по надежности. Т.е. во время долго ребилда глюкнет еще один диск - и потеряешь все. А сколько ребилдится терабайт десять на 5м?

dk-
() автор топика
Ответ на: комментарий от dk-

Во время ребилда 5-го рейда у тебя, фактически, нулевка по надежности. Т.е. во время долго ребилда глюкнет еще один диск - и потеряешь все.

Ничего не потеряю, ибо есть бэкапы, а за raid-5 особо и не агитирую, просто, по опыту, если есть хот-спаре, то нормально они переживают ребилды, даже на дисках приличного объёма, вся эта истерия - результат преувеличения проблемы. Любимый всеми raid-10, тоже не блещет теоретической надежностью, выйдет из строя второй диск из одной пары и привет. raid-6 вполне себе хорошее решение.

King_Carlo ★★★★★
()
Ответ на: комментарий от dk-

Мне кажется, лучше взять попроще рейд и нормальные винчи под бекапы. Или купи в облаке место. Рейд в единственном числе на сервере скорее для сохранения работоспособности машины, он не спасет от софтовой или человеческой ошибки. Тебе по сути пофиг, навернется у тебя система или нет, простой не стоит покупки навороченного рейда - проще развернуть с чистого листа.

stave ★★★★★
()
Ответ на: комментарий от dk-

Ну ты писал, что десктопные диски опасны.

Не, это не я писал

Теперь уже для хранения. Типа архив. К которому иногда нужен оперативный доступ. Все кэши стали влазить в ссд.

И как RAID 0+1 решит твою проблему? Ну вот давай возьмём вырожденный случай - у тебя два диска в RAID 1. Данные просто зеркалируются. Что-то пошло не так и теперь с одного диска у тебя читаются одни байты, а с другого - немного другие. Как определить что это вообще произошло? Как определить какой диск содержит правильные данные?

anonymous
()
Ответ на: комментарий от stave

У меня важные данные лежат на двух разных компах. в каждом по 10тке.

dk-
() автор топика
Ответ на: комментарий от stave

простой не стоит покупки навороченного рейда

Давай проверим твои выкладки. Расскажи с конкретными цифрами как ты это подсчитал?

anonymous
()
Ответ на: комментарий от dk-

Ну вот я и подумываю о 6+HS. Хотя цены контроллеров и пугают.

HS в данном случае - это hot spare или hotswap? Он имел hot spare - т.е. диски, которые стоят в системе про запас. Это и софтовый линуксовый mdraid умеет.

anonymous
()
Ответ на: комментарий от King_Carlo

Ничего не потеряю, ибо есть бэкапы

Ты уверен, что они всё ещё есть? Современные диски коченеют при длительном неиспользовании, плёнка стримера совершенно ненадёжна, оптики на терабайты не напасёшься. Как ты бэкапишь данные?

anonymous
()

Часть файла может годами не трогаться. (Правда нахрена это хранить тогда?!)

Ну так от твоего бизнеса зависит. Хрен его знает - может клиент придёт через пару лет в слезах, что проебали заказанную у тебя панораму и хотели бы восстановить за любые деньги, либо он придёт с просьбой что-нибудь подправить в материале. Может лет через двадцать панорамы России до апокалипсиса приобретут неслыханную ценность и ты несказанно обогатишься со своим уникальным материалом. А может и в самом деле это никому нафиг не нужно..

anonymous
()
Ответ на: комментарий от dk-

Вообще глупо, конечно, было бы выкидывать интеллектуальную собственность, которую ты произвёл. Но без внятной модели бизнеса ты не можешь оценить что ты теряешь и, следовательно, до каких сумм выгодно вкладываться в поддержку архива.

anonymous
()
Ответ на: комментарий от stave

Никак не думаю. У меня нет возможности оценить убытки бизнеса нашего топикстартера. В немалой степени именно поэтому меня и интересует как именно ты вычислил, чего это стоит для него.

anonymous
()
Ответ на: комментарий от dk-

Два часа твоей жизни стоят ноль рублей? Ну представь тогда, что твой бизнес развился, ты нанимаешь сотрудников для обработки фоточек. Платишь им зарплату. Во сколько тебе теперь обходится простой?

anonymous
()
Ответ на: комментарий от anonymous

Ну представь тогда, что твой бизнес развился, ты нанимаешь сотрудников для обработки фоточек. Платишь им зарплату. Во сколько тебе теперь обходится простой?

Оставь эти расчеты золотому миллиарду. Для РФ и прочих неразвитых стран стоимость рабочего времени наемного сотрудника обходится в копейки, гораздо дешевле хитроумных железок.

stave ★★★★★
()
Ответ на: комментарий от anonymous

Слушай, ну чего троллить то?

Вот озадачиваюсь сохранностью данных. Каждая порция нужных байтов лежит минимум на 4 разных винтах подключенных к 2 разным компам.

Но, само собой, мне экономически бессмысленно вкладывать в Ъ^Ъ решения чтоб избежать простоя в 2 часа. И сутки простоя можно. Какова его вероятность? 1-2 раза за несколько лет? Переживу. Да и типичный мой проект это не 2 часа, и даже не 20. А, скорее, 200+.

Еще мне потенциально нравится идея WD My Cloud EX4. Если их брать с дисками, то это дешевле «еще один микросервер + набор дисков». Но уж очень там мудреная прошивка. Привычнее было бы обычную ось там иметь.

dk-
() автор топика
Ответ на: комментарий от dk-

Скорее всего - первое. В то время как с рэйд дисками - диск вернет ошибку, и контроллер попробует переписать плохо читающийся сектор.

NiTr0 ★★★★★
()
Ответ на: комментарий от anonymous

Рэйд не должен сразу же выводить диск при наличии бэда. Он как минимум пробует переписать сектор.

Аппаратный рэйд не может узнать о дефектном секторе до тех пор, пока сектор не перестанет читаться.

Софтовый рэйд проверки тоже прекрасно умеет, у меня по расписанию ежемесячно рэйд 5 проверяется.

+ софтовый рэйд дает возможность посмотреть смарт аттрибуты винта. Аппаратный - не всегда.

+ если умрет контроллер аппаратного рэйда - на контроллере другой модели (а тем более другого производителя) не факт что массив соберется. Т.е. как минимум нужно второй на полке.

NiTr0 ★★★★★
()
Ответ на: комментарий от NiTr0

а Seagate честно пишет что десктопные диски не работают в аппаратных контроллерах. конкретно рейд периодически рассыпается с «отказом» 2-3 дисков одновременно

Slackware_user ★★★★★
()
Ответ на: комментарий от NiTr0

Т.е. ты советуешь, раз жалко денег, не городить псевдо Ънтерпрайз, а ограничиться софтовыми 10тками?

Касательно ошибок зеркал:
Ну разве бывают ошибки вида «все данные отдаем в искаженном виде»? Ну отдаст сбойный бит. Ну и хрен с ним. Равы слегка избыточны, большная часть файла прочтется.

И еще вопрос:
Вотт «рейдовые» диски, у них по какому-то (маркетинговому?) параметру вероятность ошибки ниже на 1-2 порядка (порядка, не раза), о чем там речь? Оно реально важно?

dk-
() автор топика
Ответ на: комментарий от dk-

Вотт «рейдовые» диски, у них по какому-то (маркетинговому?) параметру вероятность ошибки ниже на 1-2 порядка (порядка, не раза), о чем там речь? Оно реально важно?

Для аппаратных контроллеров, в которых если при ребилде вылезет бэд на оставшихся, хряпнется весь массив - да. Для zfs, в желательно, но не критично.

Deleted
()
Ответ на: комментарий от dk-

Под вендой - как хочешь, венда под серверные задачи - адская лотерея. Вчера ещё раз в этом убедился.

Если тебе надо хранить долговременно и надёжно - покупай 2 микросервера (основной бэкап и резервный бэкап), набивай их любыми дисками (хоть wd green, только парковку отключи, сигейты не надо), делай на каждом raidz2 (аналог raid6), делай и там и там периодически снэпшоты и это будет очень хорошая сохранность данных.

Deleted
()
Ответ на: комментарий от Deleted

WD Red стоит рассматривать? Их младшая часть (по делению от маркетологов) еще более менее доступна по цене.

2 микросервера вариант, да. 25к руб. за пару коробок.

dk-
() автор топика
Ответ на: комментарий от Deleted

Касательно бэкапов и прочего подобного еще важно насколько ты понимаешь, что делаешь. Наверное нтфс и софтовые рейды на венде не лучший вариант. Но там я хоть знаю какие кнопки жать и как факапы лечить. А зфс... обожиться мануалами и работать на своих данных? Риск. Доверить хз кому - риск в квадрате. А некоторые количество адекватных лоровцев - нахрена им это надо.

dk-
() автор топика
Ответ на: комментарий от dk-

А некоторые количество адекватных лоровцев - нахрена им это надо.

Ну ты сам знаешь ответ на этот вопрос :)

Deleted
()
Ответ на: комментарий от dk-

А, ну забыл дописать про территориальную разнесённость бэкапов в случае обнесения/пожара квартиры/офиса (т-т-т)

Deleted
()
Ответ на: комментарий от dk-

Софтовый рэйд5/6. Ежедневно short SMART test, еженедельно long SMART test, ежемесячно проверка массива.

Рэйдовые диски - в теории более жесткая отборка на этапе тестирования. На практике - существенно играет только для больших партий винтов, для единичных винтов в домашнем хозяйстве - с лихвой компенсируется вероятностью падения коробки с винтами при транспортировке к примеру.

Насчет ошибок зеркал - один бит повредиться не может в принципе. Теряется либо сектор (какой-то глюк, привевший к перезаписи сектора только на одном из винтов), либо блок целиком.

NiTr0 ★★★★★
()
Ответ на: комментарий от dk-

WD Red стоит рассматривать?

У меня в домашнем nas raidz2(4d+2p) такие, уже скоро джва года 24/7 крутятся, никаких нареканий.

EvgGad_303 ★★★★★
()
Ответ на: комментарий от anonymous

Ну как минимум контакты на плате к банке не гниют... А у вд/сигейтов - искаропки они зачастую уже корродированные, а через 3-4 года - прогнивают до меди...

NiTr0 ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.