Камень для домашнего сервера

зря ты так насчёт ECC

Я за ECC двумя руками, но для домашнего сервера дорого.

Я за ECC двумя руками, но для домашнего сервера дорого.

ну, зависит от ценности того, что ты там у себя крутишь

Я вот, к примеру, успел не единожды ощутить последтсвия битых данных и silent error-ов. Надоело.

ну, зависит от ценности того, что ты там у себя крутишь

Понятно что не данные министерства обороны. Да и бэкапы есть.

Я вот, к примеру, успел не единожды ощутить последтсвия битых данных и silent error-ов. Надоело.

Как проявлялось и на какой ФС?

Я вот, к примеру, успел не единожды ощутить последтсвия битых данных и silent error-ов. Надоело.

На каких объёмах данных?

Как проявлялось

1) когда сисемный вызов write() успешно срабатывает, но данные на диске и данные в изначальном буфере не совпадают, чаще всего на 1 бит в некоторых байтах. Проявляется с различной частотой. От ФС не зависит. В случае с ZFS бывает совсем беда: http://louwrentius.com/please-use-zfs-with-ecc-memory.html
2) Рандомные падения софта без видимых причин (редко)
3) Еще что-то было, но я навскидку не вспомню

Посмотри исследования гугла насчёт рамы. Вообще, если у тебя система не нагружена до упора (имеется ввиду как cpu/ram так и общее I/O) или около предела 24/7, то забей на ECC. Для личных бложиков уровня сторожа вполне хватит.

Вообще, если у тебя система не нагружена до упора (имеется ввиду как cpu/ram так и общее I/O)

А у кого она на домашнем сервере нагружена? Самые ресурсоёмкие задачи - качать торрент, раздавать по dlna, персональное облако.

Ааа, так вообще забей. :)

Кстати, насчёт ФС, на ext4, при здоровых дисках, некоторые файлы, через довольно длительный промежуток времени, просто не читались, fsck говорил, что всё ОК. С zfs таких косяков пока не было.

на ext4, при здоровых дисках, некоторые файлы, через довольно длительный промежуток времени, просто не читались

Ты же понимаешь, что дело не в ext4.

Ты же понимаешь, что дело не в ext4.

В ней.

Ну давай ссылку на багрепорт. Что-то я не видел такого поведения. Правда, использовал в основном XFS до перехода на Btrfs, а ext4 только для бэкапов. Везде хранятся контрольные суммы, и ни разу не было проблем при сверке.

ни разу он не серверный - TLER не поддерживает. для домашних NASов поделка с увеличенным кешем.

периодическая проверка в помощь. или raid6.

у ZFS есть большой минус - она не в mainline, а сторонним модулем прилеплена сбоку.

Кстати, насчёт ФС, на ext4, при здоровых дисках, некоторые файлы, через довольно длительный промежуток времени, просто не читались, fsck говорил, что всё ОК. С zfs таких косяков пока не было.

насколько здоровых дисках? имеется ввиду, что они почти новые? что подразумевается под «не читались»?
не смог открыть open() или прочитать read()? что в errno?

насколько здоровых дисках? имеется ввиду, что они почти новые? что подразумевается под «не читались»?

Диски были, насколько помню по 2Тб каждый, массив из 3-х дисков mdadm-raid5->lvm->ext4. Файлы имели место быть, но не читались в соответствии с форматом. В общем достал из бэкапов, не копал логи. Что интересно, файлы были очень старые и в них никто не писал, положили и забыли. Кстати, я неоднократно здесь видел такие же истории.

Ну давай ссылку на багрепорт. Что-то я не видел такого поведения. Правда, использовал в основном XFS до перехода на Btrfs, а ext4 только для бэкапов. Везде хранятся контрольные суммы, и ни разу не было проблем при сверке.

Блин, анонимус, ну нет у меня багрепортов, ты же знаешь как это бывает, есть бэкап - нет проблем, никаких репортов никто не пишет. На XFS я тоже ни разу не терял файлы на исправных дисках.

Файлы имели место быть, но не читались в соответствии с форматом.

Немного расплывчатое описание. Ты мог частично прочитать файл, а потом на одном из read() получить -1 в результате. ЛИБО ты всё успешно прочитал, но данные некорректны.
В первом случае следует смотреть в dmesg, там наверняка что-то появится. Во втором, особенно если файлы «очень старые», то очевидно, что имело место быть порча файлов из-за физической старости носителя. Если диски действительно «новые», стало быть, ты старые файлы на новый диск перенёс и не проверил целостность (у меня такое было, лол).

Кстати, я неоднократно здесь видел такие же истории.

Я неоднократно на ЛОР-е видел истории с 12309 (и я автор одной из них), у них одинаковые симптомы, но разная природа и причинно-следственные связи.

прочитал, но данные некорректны.

Да, так.

ты старые файлы на новый диск перенёс и не проверил целостность (у меня такое было, лол).

Возможно. Поэтому теперь пользуюсь zfs.

Я неоднократно на ЛОР-е видел истории с 12309

А я ни разу не видел 12309 :)

ни разу он не серверный - TLER не поддерживает. для домашних NASов поделка с увеличенным кешем.

Он на сайте WD раньше был в разделе datacenter, наравне с RE.

А я ни разу не видел 12309 :)

ты счастливый человек!

Вот буквально сегодня я собирал в бинарник толстую rodata (1.9 гб), в фоне играла музыка. И на тебе - музыка прерывается пока работает gcc и линковщик.
Носитель - ssd. 3.16.0-38-generic, 16 гб DDR4 рамы (свободно более половины), свеженький штеуд с т.п. 14 nm. ЧЯДНТ?!

TLER в наличии.
http://www.droboworks.com/datasheets/Hard-Drives/WD-SE-Specsheet.pdf

ты счастливый человек!

Я уже тоже склоняюсь именно к этой версии :)

Носитель - ssd. 3.16.0-38-generic, 16 гб DDR4 рамы (свободно более половины), свеженький штеуд с т.п. 14 nm. ЧЯДНТ?!

Всё ты делаешь так, но присутствует какая то особенная магия :)

Диски были, насколько помню по 2Тб каждый, массив из 3-х дисков mdadm-raid5->lvm->ext4.

а сейчас у тебя zfs в качестве активного хранилища или в качестве бекапов? linux или freebsd? на сколько % заполнено хранилище?

Это я так, решаюсь - использовать или нет, параллельно с написанием тестов для vfs.

Всё ты делаешь так, но присутствует какая то особенная магия :)

наверное, это всё виновато:

$ ps aux | grep chromium | wc -l
36

а сейчас у тебя zfs в качестве активного хранилища или в качестве бекапов? linux или freebsd? на сколько % заполнено хранилище?

Сейчас меня опять закидают какахами. Zfsonlinux и использую я его везде, даже в продакшене, до куда дотянулись мои руки. Хранилище стараюсь заполнять до 70% в нагруженных инсталляциях и вообще не парюсь по этому поводу на файлопомойках. Использую и в качестве активного хранилища и для бэкапов, на резервные сервера падают дельты снапшотов, что очень быстро, надежно и не грузит сеть.

Сейчас меня опять закидают какахами.

я бы написал тебе на мыло вопрос, но у тебя его нет в профиле

благодарю за ответ

zonzen@mail.ru
Не знаю почему не видно в профиле, щас покопаюсь в настройках, открою.

Ага, особенно у C2ххх, ага. Которые после окончания гарантии из строя выйдут...

Zfsonlinux и использую я его везде, даже в продакшене, до куда дотянулись мои руки.

Ну и правильно, аналогично.

Сейчас меня опять закидают какахами.

Интересно, за что?

Интересно, за что?

Есть тут достаточно активная группа граждан, у которых сразу припекает чуть ниже спины при упоминании ZFS, это для них красная тряпка. Они преследуют меня с 2012 или 2013 года чтобы сказать как я им безразличен :)

периодическая проверка в помощь.

У extX/xfs нет контрольных сумм файлов, только метадата. Чексуммы данных есть только у zfs/btrfs.

raid6

Увы, тоже далеко не панацея, особенно на текущих объёмах дешёвых дисков и массивов.

У extX/xfs нет контрольных сумм файлов, только метадата. Чексуммы данных есть только у zfs/btrfs.

mdcheck имел ввиду.

Увы, тоже далеко не панацея, особенно на текущих объёмах дешёвых дисков и массивов.

mdcheck раз в неделю...

хм, на старых (250-500гб) вроде как не было.

А они были такие мелкие? В pdf-ке ёмкость от 1 до 4Тб.

по этой же причине SATA не нужно использовать, только SAS

были. SE, SE16 и т.п.

по этой же причине SATA не нужно использовать, только SAS

можно почитать подробнее об этом? а то SATA тоже всякие бывают

Можешь подождать Ryzen, можешь использовать что-то из старого оборудования, если оно не много энергии потребляет, можешь снять VPS в аренду, можешь крутить все на своем же компьютере в виртуалках или контейнерах. Можешь обновить свой основной компьютер и опять же на нем же и крутить. Можешь занести и поставить что-то из своего в реальный ДЦ если есть недорогие предложения. В любом случае вариантов очень много. Если нагрузка совсем небольшая, можешь даже это все на роутере с openwrt/lede крутить. Одно скажу, наверняка лучше смотреть то, что будет меньше шуметь и меньше энергии потреблять, но желательно не на Atom. И не забудь про UPS.

— end-to-end data protection T.10. — набор алгоритмов SAS, позволяющий с помощью чексумм быть уверенным в том, что данные, подготовленные на запись без искажений записаны на устройство. И прочитаны и переданы на хост без ошибок. Эта уникальная функция позволяет избавиться от так называемых silent errors, то есть когда на диск пишутся ошибочные данные, но никто об этом не знает. Ошибки могут появиться на любом уровне. Чаще всего в буферах в оперативной памяти при приеме-передаче. Silent errors — бич SATA. Некоторые компании утверждают что на диске SATA объемом боле 500 ГБ вероятность повреждения данных хотя бы в одном секторе близка к единице.

https://toster.ru/q/21074

А ты, надо понимать, состоишь в противоположной активной группе граждан в отношении btrfs, так?

состоишь в противоположной активной группе граждан в отношении btrfs

Чтобы состоять в противоположной по отношению к чему либо группе, нужен объект противопоставления. Я такового не вижу.

так?

Не так (см. выше).

Объект противопоставления — выбор между btrfs и zfs. Другими словами, ты пишешь про людей, у которых припекает при любом упоминании zfs, однако же у тебя самого постоянно припекает от btrfs (иначе ты бы не приходил в каждый тред про btrfs с едкими комментариями).

Объект противопоставления — выбор между btrfs и zfs.

Нельзя противопоставлять то чего нет тому что есть.

Другими словами, ты пишешь про людей, у которых припекает при любом упоминании zfs

Да, и ты, похоже, один из них, докопался до меня на ровном месте.

Нельзя противопоставлять то чего нет тому что есть.

Во, опять у тебя припекает. О том и речь.

Во, опять у тебя припекает. О том и речь.

А мне кажется тебя тут распирает от простой констатации факта.

А на английском у них зеркала вообще нет?

А зачем? Смотри страницу через посредника.

А ссылку дашь? Я в этих тао-бао-гербалайфах - вообщеничего не понимаю. Я даже ебеем всего 2 раза пользоллвася

https://1000pokupok.shop/p/ZUeGENqkzNKM1T
https://1000pokupok.shop/p/ZUeyO67oQzHsZu
https://1000pokupok.shop/p/ZUeLOQnkbAj0mL

Домашний сервер подразумевает информацию, которую очень жалко потерять? Тогда ECC надо и zfs.

ZFS неплохо работает и без ECC. Вот подробная демистификация: http://jrs-s.net/2015/02/03/will-zfs-and-non-ecc-ram-kill-your-data/