История изменений

А вам точно нужно directly attached storage?

В принципе - да. По многим причинам. Я возможно неправильно / не до конца дал все вводные: это условно архив архивов с «боевых» машинок (которые там держать становится нецелесообразно именно из соображений cost) куда ходят раз в пятилетку. Downtime не волнует вообще (если конечно это не дни / недели). Любая конкретно взятая вышедшая из строя деталюшка будет заменена в течении пары часов. Кластерный high-availability storage у нас тоже имеется, но мы оба понимаем что такой storage стОит в разы / на порядки дороже. Более того - с точки зрения бизнеса есть независимая копия тех же данных в другом датацентре (не exact копия, но информация та же).

Есть опыт поддержки петабайтных Ceph-кластеров.

Нам однозначно есть о чём поговорить ;)

Данные не потерялись

Вот это, наверное, единственное чего хотелось бы добиться. В идеале чтобы даже выход из строя двух дисков одной пары не утаскивал за собой вообще всё (я готов жить с losses 10-20%).

Хорошее решение здесь только одно: SSD.

Я боюсь даже подумать сколько это может стоить…

По поводу медленного линейного чтения

Это как раз вообще не нужно - линейного чтения не будет никогда.

Собственно, давайте я переформулирую вопрос: как наиболее грамотно организовать такое хранилище? Я пока склоняюсь к нескольким HW RAID10, поверх которых LVM, и поверх этого XFS. Есть какие-то подводные камни о которых мне лучше знать «на берегу»?

ПыСы. Остальным господам что отозвались тоже огромное спасибо - почитал / переварил. И это не сарказм!! Purposely не буду никого cast’ать - не дай бог пропущу кого и человек расстроится на пустом месте…

А вам точно нужно directly attached storage?

В принципе - да. По многим причинам. Я возможно неправильно / не до конца дал все вводные: это условно архив архивов с «боевых» машинок (которые там держать становится нецелесообразно именно из соображений cost) куда ходят раз в пятилетку. Downtime не волнует вообще (если конечно это не дни / недели). Любая конкретно взятая вышедшая из строя деталюшка будет заменена в течении пары часов. Кластерный high-availability storage у нас тоже имеется, но мы оба понимаем что такой storage стОит в разы / на порядки дороже. Более того - с точки зрения бизнеса есть независимая копия тех же данных в другом датацентре (не exact копия, но информация та же).

Есть опыт поддержки петабайтных Ceph-кластеров.

Нам однозначно есть о чём поговорить ;)

Данные не потерялись

Вот, это наверное единственное чего хотелось бы добиться. В идеале чтобы даже выход из строя двух дисков одной пары не утаскивал за собой вообще всё (я готов жить с losses 10-20%).

Хорошее решение здесь только одно: SSD.

Я боюсь даже подумать сколько это может стоить…

По поводу медленного линейного чтения

Это как раз вообще не нужно - линейного чтения не будет никогда.

Собственно, давайте я переформулирую вопрос: как наиболее грамотно организовать такое хранилище? Я пока склоняюсь к нескольким HW RAID10, поверх которых LVM, и поверх этого XFS. Есть какие-то подводные камни о которых мне лучше знать «на берегу»?

ПыСы. Остальным господам что отозвались тоже огромное спасибо - почитал / переварил. И это не сарказм!! Purposely не буду никого cast’ать - не дай бог пропущу кого и человек расстроится на пустом месте…