Что думаете про дешевые новые HDD на авито?

Почему это? Я вот беру, точнее брал :) У меня правда Exos X16, но суть та же (даже ещё энтерпрайзнее, аналог WD Red будет IronWolf/IronWolf Pro скорее).

Гелий же.

Гелий сейчас много где, включая те диски, что ставят во внешние боксы, которые по USB подключаются.

А очень разная скорость IDE и SATA тебя тоже не смущает?

Лотерея.

Беда в том, что он выходит.

А очень разная скорость IDE и SATA тебя тоже не смущает?

А на что она влияет для архивной копии, скорость которой также неважна? (о чем я УЖЕ упоминал).

В триллион+ раз фатальнее потеря данных, чем потеря в скорости.

А на что она влияет для архивной копии, скорость которой также неважна

а ты представь что у тебя левая нога ходит быстрее правой. 😏

В 1+ триллион раз фатальнее потеря данных, чем потеря в скорости.

Проще чувствительную к потере информацию хранить в нужном числе копий в разных местах.
Что и делается везде.

Вероятность отказа контроллера в сравнении с диском видимо настолько мала, что даже статистики не найдешь.
Я тебе уже говорил.

а ты представь что у тебя левая нога ходит быстрее правой. 😏

Начались сравнения апельсинов с огурцами.

Я же уже объяснил, что для архивного хранения по крайне мере моих архивов скорость носителей в пределах от 10Mb/sec до 100Mb/sec неважна от слова СОВСЕМ.

Проще чувствительную к потере информацию хранить в нужном числе копий в разных местах.

С чего ты взял, что проще? Проще делать ежедневную репликацию на ZFS сервер, а в сейф складывать инкремент только изредка, например, раз в месяц.

Что и делается везде.

Ахаха, везде. В некоторых местах не делается даже на один носитель, потому что его тупо нет (не хватает места).

Вероятность отказа контроллера в сравнении с диском видимо настолько мала, что даже статистики не найдешь. Я тебе уже говорил.

Да хоть заговорись, у меня был сбой контроллера, после этого мне твои говорения ничего не говорят.

Навязчивые идеи такие навязчивые...

Архивная копия это то, что лежит в сейфе.
И/или в облаке, как сейчас модно.
Для актуальных данных достаточно обычного хранилища.
Много контроллеров все равно не поможет.
Так как их разом может убить один свихнувшийся блок питания.
И в этом случае тебе придётся менять в разы больше элементов.

Ахаха, везде. В некоторых местах не делается даже на один носитель, потому что его тупо нет (не хватает места).

В таких местах не задумываются о ценности информации.
Либо надеются на авось.

Да хоть заговорись, у меня был сбой контроллера, после этого мне твои говорения ничего не говорят.

«Мне на голову упал кирпич, теперь я везде хожу в каске».
И пофиг на вероятность такого события.

Архивная копия это то, что лежит в сейфе.

Или хотя бы в обычно отключенном системнике в ZFS пуле raidz3?

И/или в облаке, как сейчас модно.

А если вас отключат по каким-нибудь несоответствиям полиси компании, даже надуманным? Что делать, если ваши учетные записи без 2Fa станут доступны злоумышленникам?

Для актуальных данных достаточно обычного хранилища. Много контроллеров все равно не поможет. Так как их разом может убить один свихнувшийся блок питания. И в этом случае тебе придётся менять в разы больше элементов.

Для этого придуман HA кластер в области FS, например, Linstor, CEPH, etc.

Также может быть полезна хорошая защита бэкап серверов по питанию, хотя бы подключение через скоростные отсечки от перенапряжения типа УЗМ51М, мощные фильтры помех типа Most EHV, гальваническую развязку через понижающий (и одновременно он же разделительный) трансформатор 220В->110В, чтобы в случае отгорания нуля и попадания в линии питания серверов повышенного напряжения (до 380В), на блок питания даже только кратковременно приходило все же не более 380В/2=190В, что легко и с большим запасом выдержит любой качественный блок питания уровня Gold с входным диапазоном примерно от 100В до 280В. Бэкап сервера лучше подключать к локальной сети с гальванической развязкой через медиаконверторы по оптике.

Ахаха, везде. В некоторых местах не делается даже на один носитель, потому что его тупо нет (не хватает места).

В таких местах не задумываются о ценности информации. Либо надеются на авось.

Иногда задумываются, когда просохнут и/или очередной раз пролюбят базу данных.

Да хоть заговорись, у меня был сбой контроллера, после этого мне твои говорения ничего не говорят.

«Мне на голову упал кирпич, теперь я везде хожу в каске».

С чего ты взял, что бэкап - это везде? А на стройке таки да, нормальные люди ходят в каске, а на моцике ездят в full face шлеме, для тебя это открытие? И никто там не занимается расчетами вероятностей, их уже заранее посчитали, но ведь айтишечка - это новое развивающееся направление =)

И пофиг на вероятность такого события.

У меня это 4х портовое суперсовременное явно недешевое событие с чипом Marvell с Алишки и очень хорошей повторяемостью сбоя лежит в коробке, могу тебе продать :)

Причем есть более ранние похожие контроллеры в т.ч. и на Marvell, с ними все прекрасно, никаких сбоев, тем более повторяющихся.

Есть какие-то данные по потерям гелия?

Теоретически и мне с самого начала думалось, что гелий должен уходить. На сегодня диски выпускают довольно давно, должны же быть какие-то цифры по этому поводу.

Какая разница теперь, если диски без гелия всё сложнее найти?

У меня два таких диска. Одному где-то два с половиной года, второму меньше года. Оба в графе «содержание гелия» показывают 100. Возможно, этот индикатор врёт.

Так думали, что вообще их не будет.

Есть какие-то данные по потерям гелия?

Немного тут:

https://www.backblaze.com/blog/helium-filled-hard-drive-failure-rates/

https://www.synoforum.com/threads/backblaze-statistics-2q-2021.7063/

https://www.backblaze.com/blog/hgst-8tb-drives-helium-makes-them-fly/

Прикольные ссылки. Выходит, не так страшно.

Лишь бы на черепицу не нарваться.

Оба в графе «содержание гелия» показывают 100. Возможно, этот индикатор врёт.

Интересно, как измеряют. По теплопроводности?

В статейке [1] Seagate хвалится своими технологиями и ругает конкурентов. Никакой конкретики, но заявляют, что у них MEMS-датчики для измерения давления, температуры и влажности, а у HGST — только термистор для измерения температуры.

[1] https://www.seagate.com/files/www-content/product-content/enterprise-hdd-fam/enterprise-capacity-3-5-hdd-10tb/_shared/docs/helium-drive-launch-tp686-1-1602us.pdf

А в обсуждении по ссылке приведённой выше пинают Сигейт

We have both HGST and Seagate helium-filled hard drives, but only the HGST drives currently report the SMART 22 attribute.

Кстати там есть ссылка на патент датчика измерения содержания гелия. Да, фактически теплопроводность измеряется. С учётом того, что у гелия в семь раз выше, чем у воздуха, разницу измерить не так сложно.

Из патента:

A method to detect helium leakage from a disk drive enclosure is disclosed and claimed. A measurement electrical current is passed through a temperature sensor disposed within the disk drive enclosure. A reference electrical resistance corresponds to a reference temperature of the temperature sensor. A heating electrical current is passed through the temperature sensor. A heated electrical resistance of the temperature sensor, corresponding to a heated temperature of the temperature sensor that exceeds the reference temperature by at least 5° C., is determined. A value that corresponds to a quantity of helium within the disk drive enclosure is determined based on the reference electrical resistance and heated electrical resistance.

Но:

However, nowhere on the official HDD vendor sites (or associate sites), I found what exactly the specific value in ID22 means.

Кстати, патент во многом повторяет известные методы измерения вакуума

Блин, утомил.
Поди продай кому-нибудь своё ноу-хау.
Или открой стартап.

С чего ты взял, что бэкап - это везде?

Аналогию ты не понял. 😏
Ну и ладно.

У меня это 4х портовое суперсовременное явно недешевое событие с чипом Marvell с Алишки

Ааа, так он с Алишки.
Да, там вероятность получить говно на порядки выше.
В этом случае лучше перебдеть и купить по контроллеру на диск.
Мой кент, когда по молодости ходил по б...м, всегда 2 презика одевал. 😁

Блин, утомил.

А кому легко?

Поди продай кому-нибудь
Или открой стартап.

Зачем? Это ведь дополнительные затраты моего времени и других ресурсов.

своё ноу-хау.

Резервирование (дублирование) оборудования - это know how? А я и не знал =)

Зачем? Это ведь дополнительные затраты моего времени и других ресурсов.

Деньги заработать не хочешь?
Или подозреваешь что не взлетит.

Резервирование (дублирование) оборудования

По твоему изобретению, в обычную корзину на 24 диска нужно воткнуть 8 HBA.
А если девайс на 72 диска - 24?

Это не резервирование, а идиотизм.

Деньги заработать не хочешь?

Так вопрос в способе и в их гарантированном количестве в единицу времени. Деньги ведь - не главное, главное их количество =) А вернее соотношение количества по сравнению с другими обладателями денег.

Или подозреваешь что не взлетит.

Дублирование оборудования? LOL Так его с прошлого века уже используют.

По твоему изобретению, в обычную корзину на 24 диска нужно воткнуть 8 HBA.

Я же не заставляю, можешь вообще делать свои корзины без дублирования даже дисков.

Это не резервирование, а идиотизм.

Поговорим, когда после замены контроллера новая железка отправит твой пул в другое измерение.

Или подозреваешь что не взлетит.

Дублирование оборудования?

нет, твоя идея.

По твоему изобретению, в обычную корзину на 24 диска нужно воткнуть 8 HBA.

Я же не заставляю, можешь вообще делать свои корзины без дублирования даже дисков.

А следующий вопрос «А если девайс на 72 диска - 24?» ты проигнорил?
Ты серьёзно предлагаешь воткнуть туда 24 контроллера?

Кстати, дублирование дисков это как?

Поговорим, когда после замены контроллера новая железка отправит твой пул в другое измерение.

А я не покупаю контроллеры на Али. 😏
Скорее ошибка в ZFS может отправить пул в небеса, чем баг контроллера.

нет, твоя идея.

Она разве не про дублирование оборудования?

А следующий вопрос «А если девайс на 72 диска - 24?» ты проигнорил? Ты серьёзно предлагаешь воткнуть туда 24 контроллера?

Лично мне такие пулы ненужны, а если бы и были нужны, то их можно было бы собрать из отдельных нод с меньшим количеством дисков в Linstor. Ты считаешь какие-то копейки, когда речь о сохранности дорогих данных, то несколько узлов с несколькими контроллерами - это, считай, почти бесплатно. Например, шифровальщики берут намного дороже, btw., хотя напрямую к теме и не относится, но тоже про цену ценных данных так-то.

Кстати, дублирование дисков это как?

Зеркалирование либо parity? Избыточность, резервирование и т.п. Решил к буквам попридираться?

можешь вообще делать свои корзины без дублирования даже дисков.

Подразумевалось, что даже без резервирования дисков всего на одном контроллере, т.е. никого не пытаюсь принудить использовать свою идею относительно резервирования контроллеров, жизнь со временем возможно сама кого-то научит, но на чужих ошибках учиться намного дешевле обычно.

когда речь о сохранности дорогих данных

то дублируют сами данные.

жизнь со временем возможно сама кого-то научит, но на чужих ошибках учиться намного дешевле обычно.

вот именно, люди собирают статистику, оценивают риски, и делают выводы что и как дублировать.

24 диска это обычная дисковая полка с SFF дисками.
8 контроллеров (по твоей идее) это дикий оверхед.

даже в космических аппаратах нет такого уровня резервирования.

когда речь о сохранности дорогих данных

то дублируют сами данные.

Само собой, но почему бы не устранить также и причину сбоя из уже существующего опыта. Лично для моего случая достаточно 3-4 контроллера, не вижу никакой сложности докупить несколько платок для PCI и/или PCI express, в принципе при наличии слотов я бы конечно поставил по отдельному контроллеру на каждый диск.

PCI SATA стоит примерно 10%-20% от диска, был бы слот, а контроллер найдется :)

А большую полку бы просто разделил на 2-3 пула, только и всего.

вот именно, люди собирают статистику, оценивают риски, и делают выводы что и как дублировать.

Я пережил такой (по счастливой случайности без потери пула бэкапов, каким-то чудом отвалилось по диску в кажом зеркале) сбой, всем рассказал о нем. Статистика других в этом вопросе меня уже не интересует, если я считаю, что лучше перестраховаться.

24 диска это обычная дисковая полка с SFF дисками. 8 контроллеров (по твоей идее) это дикий оверхед.

В каком смысле дикий? Дорого или слотов нет?

А 4 контроллера по 3 диска на каждом - 12 дисков каждого пула? Даунгрейд raidz3 возможен тогда сразу до уровня raidz0 при сбое контроллера, но хоть так, и то хорошо, ведь по твоим словам такого быть не может, потому что не может быть =)

даже в космических аппаратах нет такого уровня резервирования.

Лично мне мой пул намного дороже чьего-то там космического аппарата, не знаю как тебе ...

Я пережил такой (по счастливой случайности без потери пула бэкапов, каким-то чудом отвалилось по диску в кажом зеркале) сбой, всем рассказал о нем.

Я из твоего рассказа сделал вывод - не покупать говно с Али.
А какой сделал ты? - надо ещё больше говна с Али купить и собрать убердевайс.

Статистика других в этом вопросе меня уже не интересует, если я считаю, что лучше перестраховаться.

Ну я же не зря тебе привел аналогию про кирпич и каску.
Ты продолжаешь её не понимать. 😏

Я из твоего рассказа сделал вывод - не покупать говно с Али. А какой сделал ты? - надо ещё больше говна с Али купить и собрать убердевайс.

Чем говнее говно с Али, тем лучше протестируется моя схема резервирования контроллеров при условии конечно, что остальные контроллеры будут нормальными.

Неужели мой вывод непонятен из вышенаписанного?

В raidzN нельзя ставить контроллеров меньше, чем количество_дисков_в_пуле / N, при условиий подключения к одному контроллеру не более N дисков.

А из твоего сообщения можно сделать вывод, что не только контроллеры купленные не на Алишке являются абсолютно надежными, но и диски тоже? Зачем тогда резервирование дисков?

Ну я же не зря тебе привел аналогию про кирпич и каску. Ты продолжаешь её не понимать. 😏

Ты делаешь вид, что даже не понимаешь разницу между непониманием и несогласием.

Примерно также как несогласие с использованием systemD на большинстве своих хостов выдается троллями адептов этой системы за неосиляторство systemD, что является просто троллингом на слабо.

Представь, мне слабо согласиться с тем, с чем я не согласен. Прикольно да?

Чем говнее говно с Али, тем лучше протестируется моя схема резервирования контроллеров при условии конечно, что остальные контроллеры будут нормальными.

зачем мешать говно с нормальным, если можно сразу взять нормальное.
ради эксперимента? - можно, но результат и так предсказуем.
в прод или под кровать? - поставь 2 контроллера и спи спокойно.

В raidzN нельзя ставить говно-контроллеров меньше, чем количество_дисков_в_пуле / N.

пофиксил.

А из твоего сообщения можно сделать вывод, что не только контроллеры купленные не на Алишке являются абсолютно надежными, но и диски тоже?

не твое это - делать выводы.
я нигде не говорил про «абсолютно надёжные».

Зачем тогда резервирование дисков?

Для повышения вероятности эти данные прочитать.
Ты еще спроси для чего в дисках используют ЕСС.

Не прикольно.
Ты реально не понимаешь в чём причина возникшей у тебя проблемы и пытаешься её не повторить не тем способом.

поставь 2 контроллера и спи спокойно.

А чем 2 контроллера лучше одного?

В raidzN нельзя ставить говно-контроллеров меньше, чем количество_дисков_в_пуле / N.

пофиксил.

Зато можно ставить по одному очень хорошему диску на vdev (сарказм).

не твое это - делать выводы.я нигде не говорил про «абсолютно надёжные».

Не твое - ставить оценки, потому что невнимательно читаешь и не умеешь отличать риторические вопросы от обычных:

Для повышения вероятности эти данные прочитать. Ты еще спроси для чего в дисках используют ЕСС.

Я обнаружил возможную точку отказа и устранил ее.

А твое предложение двух контроллеров вместо одного без учета количества дисков в пуле в общем случае не устраняет ничего.

Кстати, ты в курсе, что IBM пытался резервировать свои контроллеры хранилища как раз парой контроллеров, вероятно работающих в режиме непрерывной доступности?

Так вот они обосрались! У них ничего не получилось причем по цене 2*$5K только за одни контроллеры.

А у меня получилось по цене 500 руб за каждый БУ контроллер. Занятно, не правда ли?

Ты реально не понимаешь в чём причина возникшей у тебя проблемы

Мне какая разница какого качества контроллер при его получении? Если его можно заранее протестировать, а потом зарезервировать?

и пытаешься её не повторить не тем способом.

Не тем способом с точки зрения Minona, заметь.

Ты так и не ответил кстати, в чем проблема резервирования контроллеров? Цена? Мало слотов? Религия Миноны?

IBM пытался резервировать свои контроллеры
Так вот они обосрались!
А у меня получилось

Вау, гений! Ну прям Перельман.
Целый IBM не смог, а он смог.
(шёпотом - ты сообщил им какие они лохи?)
От скромности не умрёшь.

Не тем способом с точки зрения Minona, заметь

Естественно, это моя точка зрения.
Она основана на том, как это делается в индустрии.
Или ты думал я подключён к «источнику великой мудрости»?

Мне какая разница какого качества контроллер при его получении? Если его можно заранее протестировать, а потом зарезервировать?

Зарезервировать таким же говном?
Б/У контроллер это мина замедленного действия, как и б/у диски.

Ты так и не ответил кстати, в чем проблема резервирования контроллеров?

В индустрии нет проблем с резервированием контроллеров.

-----
ЗЫ:
Короче, твоя схема годится (с натяжкой) для твоего подкроватного девайса.
А в общем случае (с нормальными контроллерами от проверенного вендора) - дурь.
Скажу по секрету, в индустрии есть схема создания ZFS-пула, аналога RAID-60, который не развалится при отвале до 2-х дисковых полок.
И там не соблюдается твое правило:

В raidzN нельзя ставить контроллеров меньше, чем количество_дисков_в_пуле / N, при условиий подключения к одному контроллеру не более N дисков.

«Занятно, не правда ли?» 😏

Вау, гений! Ну прям Перельман. Целый IBM не смог, а он смог.

Так смог Sun, потом команда OpenZFS.

Это огромные затраты денег и человекочасов, интеллектуальные ресурсы.

Я только изучил, правильно настроил, только и всего.

Еще спорю с некоторыми шизиками на форумах о том, что ZFS очень хороша, но они не верят. Бесплатно им объясняю преимуищества ZFS, хотя мог бы предложить купить контроллеры IBM.

(шёпотом - ты сообщил им какие они лохи?) От скромности не умрёшь.

Так они же наипали 100 регионов ПФР, с каждого по 2*$5K=$10K только за контроллеры, итого около $1M за вредительские железки, само вредительство вероятно принесло ущерба в разы больше. + через R&D этих контроллеров наверно тоже просрали несколько лямов U$D. Просуммируй все это, кто тут Перельманы в области зарабатывания денег на чужом горе?

Вопрос о возможных смыслах использования клонов солярки в 21 веке. (комментарий)

Естественно, это моя точка зрения. Она основана на том, как это делается в индустрии.

В индустрии, где используются аппаратные RAID контроллеры?

Где обосралась IBM в попытке сдружить хотя бы пару таких контроллеров?

Лично мне неинтересны технологические лузеры индустрии и различные obsolete технологии из прошлого столетия.

Зарезервировать таким же говном? Б/У контроллер это мина замедленного действия, как и б/у диски.

Чем они отличаются от новых кроме гарантии замены в случае выхода их строя?

В индустрии нет проблем с резервированием контроллеров.

Тебе на примере IBM показали, что проблема есть, а ты как упоротый пишешь, что проблем в индустрии нет.

Короче, твоя схема годится (с натяжкой) для твоего подкроватного девайса. А в общем случае (с нормальными контроллерами от проверенного вендора) - дурь. Скажу по секрету, в индустрии есть схема создания ZFS-пула, аналога RAID-60, который не развалится при отвале до 2-х дисковых полок. И там не соблюдается твое правило:

И сколько миллионов это стоит? Зачем мне это, ты хоть раз задумался?

Чем они отличаются от новых кроме гарантии замены в случае выхода их строя?

Ты и этого не понимаешь?
🤷‍♂️

Ну и последний гвоздь в твоё «изобретение».
Имеем убердевайс в такой конфигурации: C1(D1,D2,D3), C2(D4,D5,D6), C3(D7,D8,D9).
Создаём на нём raidz3.
А теперь внимание!
Один из контроллеров сдох - пулл лишился сразу 3-х дисков.
Что переводит пулл raidz3 в критическое состояние, т.к. если сдохнет ещё хотя бы один из дисков, то пулл улетит в небеса.
Занавес!

Ты и этого не понимаешь?

Про контроллеры или про диски? У контроллеров износ?

А у дисков ресурс?

Ну и последний гвоздь в твоё «изобретение». Имеем убердевайс в такой конфигурации: C1(D1,D2,D3), C2(D4,D5,D6), C3(D7,D8,D9). Создаём на нём raidz3.

Так я вообще-то раньше предлагал большее количество контроллеров, чтобы после сбоя от raidz3 оставался хотя бы raidz1.

А теперь внимание! Один из контроллеров сдох - пулл лишился сразу 3-х дисков. Что переводит пулл raidz3 в критическое состояние,

По твоей схеме одного контроллера не сдохший, а поехавший контроллер мгновенно и безвозвратно убивает пул, что намного хуже моего варианта.

т.к. если сдохнет ещё хотя бы один из дисков, то пулл улетит в небеса.

Нужно больше контроллеров, в идеале по контроллеру на каждый диск в пределах одного пула.

Перельманы в области зарабатывания денег на чужом горе?

Перельман кстати был обратным примером, он отказался от предложенного миллиона и занимался улучшением мира, а не ухудшением как IBM в области сдвоенных CA контроллеров.

Но у IBM получился вместо CA (continuous availability) даже не HA, а сбойная хрень, хуже обычного одиночного контроллера.

Причем я явно это указал в своем сообщении, а ты уцепился как за последнюю соломенку в нашем споре и привел свой пример, как будто я о нем раньше не упоминал:

А 4 контроллера по 3 диска на каждом - 12 дисков каждого пула? Даунгрейд raidz3 возможен тогда сразу до уровня raidz0 при сбое контроллера, но хоть так, и то хорошо, ведь по твоим словам такого быть не может, потому что не может быть =)

Ну и последний гвоздь в твоё «изобретение».

Ты манипулятор общественным мнением.

А еще ты не понимаешь разницы между сдохшим контроллером (отказ в обслуживании) и поехавшим контроллером (неправильное обслуживание).

Так вот мое резервирование защищает даже от поехавшего контроллера, а в случае просто сдохшего контроллера с данными в пуле ничего не случится и так кроме того, что он станет временно недоступным на время замены контроллера.

это ты не понимаешь для чего после RAID5 был придуман RAID6 (raidz2/3).

Нужно больше контроллеров, в идеале по контроллеру на каждый диск в пределах одного пула.

Ну что же ты на полпути то остановился...
учитывая что ты свой девайс из говна и палок собираешь, в идеале так:
по контроллеру на диск;
по материнке на контроллер;
по блоку питания на материнку;
по отдельному вводу на БП.

это ты не понимаешь для чего после RAID5 был придуман RAID6

1) Почему думаешь, что не понимаю?

2) Зачем мне понимать RAID6

Ну что же ты на полпути то остановился...

Как ты это определил?

У меня сейчас как раз по отдельному котроллеру на каждый диск в зеркале.

учитывая что ты свой девайс из говна и палок собираешь, в идеале так:

У тебя какая-то излишняя концентрация на стоимости оборудования, тебя как то прет от того, сколько твой хозяин потратил на твои железки?

по материнке на контроллер;

Это ты придумал, не надо свою шизу выдавать за чужие мысли

по блоку питания на материнку;

Боюсь удивить тебя, но в серверах нередко их бывает и по 4 шт. на одну материнку.

по отдельному вводу на БП.

У тебя вероятно уже, судя по твоим сообщениям.