Да я просто тупой и бугурчу. Недавно опят обосрался с целостностью данных. Правда обсуждаемое тут - не помогло бы все равно, но я решил вернуться к теме.

Мне нужны терабайты, с более менее приличными иопсами, скоростью записи в сотни (хотя бы 5+) мегабайт и более менее надежностью (в смысле - надежнее, чем один единственный накопитель).

Ссд на 100\200\500 гб - уже есть, годы. Но их мало. И 2 тб тоже мало. А денег выкидывать совсем уж в воздух - не хочется.

Кстати, если тебе нужна скорость любой ценой, то тут SSD уже почти без вариантов, притом не sata, а платы с интерфейсом PCI-E, только там реально скорость может достигнуть порядка 2-3Гб/сек. Это раза в 1.5-2 дороже хороших sata SSD, но может тебя устроит, если всё-таки можно обойтись не 2Тб, а хотя бы 512Гб.

Ещё момент. Такие необычные (обычным пользователям это не надо) конфигурации очень желательно тестировать, а то бывает всё вроде правильно рассчитали, а в конкретных задачах в конкретных программах и ОС результат совсем не такой хороший.

а платы с интерфейсом PCI-E

NVMe - это уже PCI-E, если что :)

Как раз 950 pro самсунг и умер на днях :) Всего 1.5 года б\у, и износом процентов 20 ресурса. Просто пропал из системы. Завтра понесу в сервис, но, боюсь, толку мало. Говорят, что если контроллер, то просто без шансов вообще. Чипы выпаивать (как в обычных ссд) бесполезно.
Гарантии то 10 лет, поди заменят, но жалко.

Обычных ссд мне хватило бы вполне. всеж 500мбайт\сек с их иопсами (это очень важно) - сильно-сильно-сильно-сильно круче жестких дисков. А вот NVMe - ну было бы круто, но 101% экономически бессмысленно.

Мне нужны терабайты, с более менее приличными иопсами, скоростью записи в сотни (хотя бы 5+) мегабайт и более менее надежностью (в смысле - надежнее, чем один единственный накопитель).

Для 500+ Мб/сек тебе нужен SSD с PCI-E - это по-моему без вариантов даже, RAID тебе такую скорость не даст, по крайней мере из относительно обычных.

Ссд на 100\200\500 гб - уже есть, годы. Но их мало. И 2 тб тоже мало. А денег выкидывать совсем уж в воздух - не хочется.

Мда. Но боюсь, что меньше чем 100 килорублями ты не обойдёшься при таких запросах, а скорее 150. И чтобы скорость 500+ и надёжность.

Всеж проще жилось, когда на такие игрушки денег даже в теории не было. Столько проблем выбора сразу мимо)))

Банальный самсунг 850 про (он сата3! не pci-e!) - на всю свою емкость дает как раз 500мбайт\сек. И на чтение, и на запись. И без всяких «быстрых кэшей» - он просто весь такой, вообще весь. В отличие от дешмансих ссд в 3 раза дешевле. Т.е. это уже бытовая банальщина. Ее бы мне заглаза хватило, если бы не цена 1тб.

Вообще, поиграв с R-0\R-10 на быстрых винтах могу сказать, что и это уже очень годно. Не ссд, но и совершенно не как один обычный винт.

https://www.computeruniverse.ru/products/90610889/samsung-ssd-850-evo-basic-s...

Через пару лет хочу видеть подобное раза в 2 дешевле (в валюте). Будем подождать :)

Банальный самсунг 850 про (он сата3! не pci-e!) - на всю свою емкость дает как раз 500мбайт\сек. И на чтение, и на запись. И без всяких «быстрых кэшей» - он просто весь такой, вообще весь. В отличие от дешмансих ссд в 3 раза дешевле. Т.е. это уже бытовая банальщина. Ее бы мне заглаза хватило, если бы не цена 1тб.

Так всё-таки сколько надо? 500 - этого на sata бывает, ты и сам привёл пример, я задумался именно он плюс :)

Вообще, поиграв с R-0\R-10 на быстрых винтах могу сказать, что и это уже очень годно. Не ссд, но и совершенно не как один обычный винт.

Собственно выбор между чем и чем в итоге?

Для 500+ Мб/сек тебе нужен SSD с PCI-E - это по-моему без вариантов даже, RAID тебе такую скорость не даст

Да с фига ли.

Упрётся в лимит по интерфейсам.

Опыт показал, что рейд-0 на 4 дисках - меня уже радует. Понятно, что на нем всегда лежит лишь копия данных для работы вот сегодня. И он может умирать хоть раз в день.

А вот относительно надежному R-6 дисках на 8 я бы уже доверил и хранить данные (не отменяя бэкапов, конечно). Просто для меня железный рейд - темный лес, а zfs через IB - лес в квадрате.

Собственно выбор между чем и чем в итоге?

Самое умное - вообще не дергаться и на трать более деньги. Реальные боевые задачи под такие требования - бывают редко. Обычные задачи обходятся на текущем. Но вот зудит немного.

Один ссд - один сата3 канал. Никуда не упрется.

Спецификация SATA Revision 3.0 (SATA III или SATA 3.0) представлена в июле 2008 и предусматривает пропускную способность до 6 Гбит/с брутто (600 Мбайт/с нетто для данных с учётом 8b/10b кодирования)

Ну вот на практике в 600Мб/сек и упрётся. Простого складывания скоростей где-то внутри в дешёвых RAID не будет.

И что?:) Это в 3 раза быстрее самого быстрого бытового винта - для линейного. И в 1000500 раз по иопсам. Дайте мне 10тб ссд такой за не космические деньги - и я записаю кипятком все вокруг в радиусе 10км.

А есть raid, которые в таком случае ругаются, но пытаются прочитать дальше те блоки данных, которые таки получилось прочитать?

Нафиг?

raid делают для аптайма и/или скорости (см. raid0). А ты хочешь бэкап, например.

А я хочу «да похрен, что 100 файлов убилось», отдай остальное :)

Сделай в венде Storage Spaces. Правда, единственный случай восстановления SS, известный мне, всё равно закончился походом к восстановителям за 100500 денег.

http://www.truesystem.ru/solutions/khranenie_danny/360884/

http://www.nix.ru/price/price_list.html?section=controllers_adaptec#c_id=425&...

Пока буду дрочить в этом направлении :)
На ебее поглядывать.

А я хочу «да похрен, что 100 файлов убилось», отдай остальное :)

Тогда тебе нужен не raid. Единственный уровень raid'а, который тут хоть как-то сработает — linear raid. А дальше — смотреть на ФС, которым пофиг.

(приняв упоринум форте)

Народ, а что у нас с ошибками на ссд?) Вот на винтах 10^-14. А что с ссд?)

Так оно ж не соответствует твоему «А я хочу «да похрен, что 100 файлов убилось», отдай остальное»

Ага.
Но как же тяга к знаниям?)

Слушай, а что юзают в лютом интерпрайзе? Ну когда по 60 дисков на полку? И они в одном томе (предположим, такое надо кому). Ну кроме зфс :) Лютый вендорлок с лицензированием по дискам?

А как он у тебя был подключен, просто для интереса? Через M2? Мой 950 с аптаймом 13157 часов (1.5 года) живет с 0 ошибками, пока.

Ну как? В мамку, в слот м2. Их утилитой определялся, как подключенный оптимально. Проблем не было ни разу, но в пятницу впервые увидел бсод на десяточке (красивый такой, с QR кодом. гггг). А потом из системы пропал. Лишь раз в биосе в одном из разделов его увидел, но в листе загрузок его один хрен не было. А в самой венде иногда появлялся «стандартный nvme контроллер» в диспетчере устройств. Завтра потащу в крутую контору. Там или с меня кучу денег поимеют, или о облом.

Ну как? В мамку, в слот м2.

Ну, мой так, в PCI-E x4. А что, поставить, скажем, 256гб оперативки для твоих задач не подходит?

В лютом ынтырпрайзе - хитачи и айбиэм.

У меня в мать сразу, в ней слот был. Причем модный - на 32гбс.

Ну памяти и так 100гб, больше некуда (если не ЕЦЦ и т.п.). И ее все равно не хватит. Но я еще раз оговорюсь, что задача под такое - она очень редкая и не основная. Так, фотоонанизм: http://bit.ly/2p2izEX (ничего не поделаешь, это флеш, т.к. тестовая, не готовая версия)

У них волшебные диски без ошибок чтения?

Да, я видел, круто. Про диски могу ещё рассказать, что те же Hitachi тоже вылетают. Стоит рейд из 8(?) дисков, за 2 года 2 уже вылетели, но рейд ребилднулся успешно. Похоже, перегрелись, так как умер кулер.

У них волшебные диски без ошибок чтения?

100500 дисков в один рейд там не пихают. Есть рекомендованые или даже жестко заданные значения. Типа собираются куча рейдов 5 рейд, 5+1, они объединяются в пул. Есть фиксированное колличество спейров на полку.

У HPE 3PAR или IBM XIV вообще все интересно. Там рейд собирается не на дисках, а на кусочках дисков. Каждый диск разбивается на десятки кусочков(чанклеты) и из них собирает рейд, а потом это собирается в пулы, причем можно настроить так, что чанклеты одного рейда обязательно находятся на разных полках. Такие конфигурации переживают выход из строя целой полки из 24 дисков без потери данных.

Впечатляет, конечно :)
Еще где-то читал, что гугол идет (шел) наоборот - тьма десктопных дисков из говна и палок, и никаких проверок - при каждом чихе - ни ребилда, ни проверки - просто накатывается из копии.

при каждом чихе - ни ребилда, ни проверки - просто накатывается из копии.

Ну это уже другой подход к отказоустойчивости, на базе кластерных файловых систем делается. Просто у любого файла всегда несколько копий на разных нодах, если нода сдохла то доступ продолжается с другой, а тем временем восстаналивают умершую.

б) Появились файлы с битыми битами.

Я бы на это не рассчитывал. Побьётся, например, какая-нибудь структура ФС и потеряешь сразу целый каталог. Корневой, например. Или побьётся инфа о свободных блоках, и поверх твоих фоточик сразу запишется какой-нибудь журнал. И вообще, зачем хранить данные которые не страшно потерять?

Короче, меня интересует потребительское проявление этой проблемы. Вот собрал я супер-упоротый рейд-5 на 20 10тб дисках. Гарантированно словил глюки на ребилде. Какие глюки?

Просто потеряешь все данные.

Ошибка чтения при ребилде. Дальше что?!

Если твой рейд не может восстановится, то пересборка рейда, восстановление из бэкапа.

Слушай, а что юзают в лютом интерпрайзе? Ну когда по 60 дисков на полку?

В лютом интерпрайзе к тебе приедет инженер и сделает raid-6, от 5-ки будут отговаривать, тыкать в best practice и всё такое. Для любителей горячего СХД будет периодически чекать дискать в фоне и сама перетащит данные на spare при первом подозрении. А через несколько лет диск ещё и по «таймеру» сдохнет.

Я вот домой хочу r6 из 8 дисков. Если контроллер осилит, то один из них как резервный сразу.

А если я хочу восстановить то, что восстанавливается и плевал на битую область?
Это возможно на каком-то контроллере, с кучей «отказ от грантий» и «да, я дурак», или нет?

Это может быть логичным поведением для линусоида типа тебя, который согласен на битые данные, поэтому что-то такое можно искать в linux raid. А для enterprise - это бессмысленно имхо. Лучше полностью потерять данные (и восстановить их потом), чем если ошибка в твоем 1549ом секторе приведет к ошибке на миллион долларов.

Все так :) Поэтому я вел речь об «опции для ссзб», а не дефолте.

ZFS-том как блочное устройство в венду по сети - звучит очень красиво, и хотелось бы на практике. Но, как я понял, iSCSI через сеть - большие лаги (задержки) и т.п. FC - лютый интерпрайз. Т.е. выйдет дорогонах, сложно очень.

это все относительно, ты же понимаешь. я имею ввиду бюджет. iscsi я тоже как-то не очень. почему ты просто не можешь smb шару на zfs разместить?

Важны иопсы.
Да я уже успокоился. Купил контроллер нормальный, ещё винтов с tler докупить и все.

да ты протестируй просто, замерь иопсы, трафик. потом с цифрами видней. может, хватит тебе иопс и по сети.

Для грамотной постановки опыта и оценки результатов нужна квалификация :)