Вопросы по аппратному RAID-6

Во во, чем больше шкаф дисков, контроллеров и бп, тем громче падает.

Вот где raid-z3 бы спас :)

Вот где raid-z3 бы спас :)

Нифига, даже по этому короткому треду ясно, что из строя стремятся выйти минимально_необходимое_количество_элементов + 1.

не доверяю я аппаратным

Очень зря.

И вовсе даже не зря. Аппаратный рейд-контроллер в виде платы расширения - штука крайне непрозрачная. Слабенький процессор, аппаратная считалка четности, батарейка и софт - вот и получается чёрный ящик, в который не заглянешь, исходники софта не достанешь (проприетарщина). Накроется медным тазом - и будешь волосы рвать на известном месте.

А какой-нибудь mdadm или ZFS накроется - и в исходники заглянуть можно, и решить проблему все миром. Четности считать - так у ЦПУ нынешних мощи за глаза, неизвестно еще, кто быстрее окажется. Пропускная способность шины, правда, экономится, но с этим в нормальных современных системах тоже все неплохо. Более-менее приемлемо они работают, пока с батарейкой все хорошо, а стоит умереть - и про скорость можно забыть.

Так что ну их в пень эти аппаратные контроллеры!

Вот где raid-z3 бы спас :)

Нифига, даже по этому короткому треду ясно, что из строя стремятся выйти минимально_необходимое_количество_элементов + 1.

Не, ну все таки чтобы полностью одновременно умерли 4 диска - это редко. Чаще один-два умирают, а остальные ошибки сыпят, но не умирают. В такой ситуации raidz3 как раз очень хорошо себя показывает - не умирает, даже если 3 диска сдохнут совсем, а другие будут ошибки сыпать. Да, все прочитать не получится, естественно, но в такой ситуации сетовать глупо, ибо количество ошибок превышает пределы избыточности, так что если часть спасти удалось - и то хорошо!

Во во, чем больше шкаф дисков, контроллеров и бп, тем громче падает.

Ну бык закон больших чисел никто не отменял.

Поподробнее про raid-z3.

А часто предоставляешь своему вендору информацию о своих конфигурациях хранилищ и статистику замены дисков ?

Если указано это сделать, то я это делаю.

Аппаратный рейд-контроллер в виде платы расширения - штука крайне непрозрачная

Зато рабочая. И как выше уже писали - покупаешь контроллер того же производителя и вуаля. И да, вероятность, что накроется контроллер гораздо меньше, чем выйдут из строя диски. И бэкапы, если что, никто не отменял.

Дома хочу собрать RAID1 со временем.

Конечно. Нарушена целостность массива.

Зато рабочая. И как выше уже писали - покупаешь контроллер того же производителя и вуаля. И да, вероятность, что накроется контроллер гораздо меньше, чем выйдут из строя диски

Да ради бога, покупай на здоровье, кто ж тебе запрещает. Можешь даже сразу два покупать, и один в стол про запас. Производители контроллеров только рады будут :) Счас сэтим проще стало, так как от батареек все больше отказываются и предпочитают суперкапами или флэшметр обходиться для сохранения кэша. Только этот флэш золотой оказывается. Вместо этого золотого флэша в контроллерах я предпочту ридзиллу и логзиллу к дискам пула прикупить по рыночным ценам.

А бэкапы никто не отменял - хоть с контролерами, хоть без.

ЗЫ. Ты, наверное, еще веселухи связанной с потерей кэша этими самыми контролерами не проходил. Ну ничего, у тебя еще все впереди.

Ну это в принципе не специфично для raid-z3. Просто у него избыточность самая большая (если не брать в расчет четырех и более дисковое зеркало), но он же и самый медленный при работе в деградированном режиме.

Вот место в коде соответствующее: vdev_fault(). Там со строки 2263 комментарий и соответствующий кусок кода. Можно и поменять в случае чего. С аппаратным рейд контроллером такой фокус не пройдет :)

Статистика «на местах» разумеется есть.

На каких местах? Это всё вендору автоматом идёт, а не только сервис партнёрам.

А, оно на полной поддержке, тогда да. Мы также ставим.
А массив таки прямо звонит или все-таки по инету шлет ?

Мне прям интересно, что вы там также ставите. Бааальшой ынтрырпрайз, не иначе :D

На каких местах? Это всё вендору автоматом идёт, а не только сервис партнёрам.

Кого конкретно под вендором имеете в виду ? Производителя или местный саппорт ? Я работал по ту сторону и написал как эти рекомендации составляются, с цифрами аналогично. Если вы хотите верить в большое и светлое, ради бга, большой ценник за это.

Мне прям интересно, что вы там также ставите. Бааальшой ынтрырпрайз

Нет, небольшой. С большим был связан раньше. Комбанки в основном, создавал сервис в РФ под новый здесь бренд.
Сейчас народ попроще, решения тоже и я не в курсе наворотов железяк. Но не припомню железок со встроенными симками, мне по крайней мере, не попадались.
Таки прошу пояснить, что имели в виду под хранилище «звонит в сервис» ?

Ну бык закон больших чисел никто не отменял.

Закон подлости, как бы печально и с недоумением, смотрит на упоминание других законов.

Кого конкретно под вендором имеете в виду

Кого-кого, производителя конечно. Что мне верить - я 8 лет по ту сторону.

Сейчас народ попроще, решения тоже и я не в курсе наворотов железяк. Но не припомню железок со встроенными симками, мне по крайней мере, не попадались.

lol, это не наворот, а базовая функциональность, call home называется исторически - раньше по модему «звонили», теперь по тырнету отсылают рапорты о поломках.

Я работал по ту сторону

Незаметно.

не припомню железок со встроенными симками

Ну у нас же интернеты и телефоны есть... СХД в чистое поле не покупают. Вот запретить стучать вендору - могут, но это другая песня.

хранилище «звонит в сервис»

Например, HiTrack от HDS. Идёт в комплекте с ынтырпрайзом, в России просто шлёт инфу вендору в сервис по мониторингу, в остальном мире позволяет ещё и кейс открыть, подключиться инженеру вендора для диагностики. У нас наверное тоже такое будет, когда вендор начнет более активно оказывать прямой сервис, а не через партнеров.

Про модемы я в курсе. Это я застал.

теперь по тырнету отсылают рапорты о поломках.

Ага, хранилище с самостоятельным доступом в инет.
Конфиденциальность ?

Незаметно.

Я не технической частью занимался.

Ну у нас же интернеты и телефоны есть... СХД в чистое поле не покупают. Вот запретить стучать вендору - могут, но это другая песня.

Вот эта песня и играет постоянно. Низя.

эта песня и играет постоянно.

При мне только 1 госкомпания отказалась от стука вендора напрямую, но они всё равно регулярно предоставляют дампы для профилактического анализа. Но т.к. у них ынтырпрайзный ынтырпрайз за много-много денег, его конфигурацию вендор знает.

А банки уже разрешают что-ли ?! У меня и частный шифруется, мол санкции, все дела - кто даст гарантию, что железо по команде его производителя не встанет.

Ну не разрешат напрямую слать, дамп всё равно отправят так или иначе, хотя бы для анализа каких-нибудь проблем. А в случае прямого сервиса это вообще не проблема, инженер приедет и снимет дамп, потому что так положено.

А массив таки прямо звонит или все-таки по инету шлет ?

6-7 лет назад модемы стояли в DMX и более ранних симметриксах.
Также массив принимал входящие звонки от вендора, когда тот к нему хотел подключится. Сейчас уже через интернет по HTTPS. Но саппорт EMC до сих порт говорит «dial-in», когда собирается зайти на массив. У кого-то, наверное до сих пор стоят модемы.

Про модемы я в курсе. Это я застал.

Тогда бы таких вопросов не было.

Ага, хранилище с самостоятельным доступом в инет.

Ага, диски прямо по fc в инет выставлены. Массив посылает текстовый рапорт твоему серверу приёма этих рапортов, а он уже дальше сам или в ручную оформляй заявку.

Я не технической частью занимался.

да-да

Я под вендором производителя имел в виду, а не местную поддержку. Но причем тут оно, это уже аутсорс.

Так и я имел в виду производителя.
Массив на прямой поддержке (EMC,HDS) и «звонит» производителю.

Ага, диски прямо по fc в инет выставлены. Массив посылает текстовый рапорт твоему серверу приёма этих рапортов, а он уже дальше сам или в ручную оформляй заявку.

не передергивайте, фирмварь имеет доступ в инет и к содержимому дисков. Никто не мешает вкорячить туда линь (если он уже туда не вшит), читать содержимое фс разделов, да хоть анализом файлов заниматься и сигналить по ключевым.

да-да

Я запускал сервисную часть бизнеса. А что можете сказать по технической реализации эксперимента налоговой по отправке данных ккм в реальном времени ?

Да, тогда все так. Хотя не припомню, чтобы сильно заморачивались, ну накрылся диск у заказчика, отвезли-поменяли. Цифры не в статистике вылезают (если не массовая катастрофа, тогда да, разборки), а у логистов, железки постоянно закупаются/продаются, больше/меньше - какая разница.

Массив посылает текстовый рапорт твоему серверу приёма этих рапортов

Что тебе не понятно в этой фразе? И кто тебе мешает отслеживать сетевой трафик с массива, если ты не доверяешь производителю? У массива может не быть доступа в интернет, он просто уведомит твой сервер в локалке.

А что можете сказать по технической реализации эксперимента налоговой по отправке данных ккм в реальном времени ?

Я без понятия, что у вас там за эксперименты и причём здесь «в реальном времени», но я был одним из причастных проекта «дигитальный рецепт» для нашего здравоохранения и мы проводили анализ, чтобы поумерить паранойю заказчика, претензий не было и «call home» до сих пор оповещает о поломках. В налоговой и других финансовых учреждениях тоже всё ровно по этому вопросу.