Выбор хародов и SSD

Приоритеты для хардов: тишина, надёжность

Если скорость не нужна, делай как я, и обмазывайся внешними двухдюймовыми USB3-коробочками.

Ноутбучные винчестеры всегда имели лучшую механику, чем десктопные, и гораздо более тихие.

Дороже они, при-чём для 2Тб как-то резко

В общем пока так:
TRANSCEND 128GB M.2 SSD PCIE GEN3 X4 MTE850
2 x WD Blue WD20EZRZ

Я бы вообще на 2Гб не смотрел сейчас. Почти затычка в порт/корпус.

Если надо иметь 4Тб, то лучше просто взять один винт.
На редкий случай, если он выйдет из строя в первые месяцы эксплуатации, есть бекапы и гарантийка.
Ну а потом и другие винчестеры будут.

А то потом стек таких в корпусе, если это не двадцатикилограмовый стальной Thermaltake, однозначно будет неприятно гудеть и вибрировать.

Раньше я на такие грабли уже наступал, а т.к. звукоизоляция у меня в приоритете, то выводы для себя сделал.

Читай пост. Нужно 2 Тб места, и нужен raid1. потому-что харды смертны, бекапить всё это считай тот-же raid (только средствами какого-нибудь rsync), а терять то что не попало в выборочный бекап мне не хочется.
У меня до недавнего времени было 4 харда в системнике, сейчас один сдох. В любом случае два новых харда будут гораздо тише чем три старых. При чём эти два харда, если всё срастётся, будут в основном простаивать, а вкалывать будет SSD кэш

P.S. вибрацию хардовой корзины я более-менее заборол (силиконовый герметик рулит)

marvel, intel(которые пользует в своих ссд), samsung - в порядке предпочтения. память - микрон(crucial), тосиба, intel.
только [e]mlc - незнаю, страшно про tlc,3d ram и прочее

Очень глупо сравнивать RAID с бэкапом.

Raid нужен на продакшене, если нет продакшена, делается бекап.

В плане необходимого количества и объёма хардов оно примерно идентично. Что-бы бекапить 2 тб данных нужно иметь ещё один хард на 2 тб. USBшный в ящике, или арендованный в облаке, не суть, так или иначе он нужен.
нормальных бекапов это конечно не отменяет, но они только для критических и относительно компактных вещей. Критические вещи и сейчас бекапятся, но это что-то вроде 0.01% объёма, а остальные 99.99% терять тоже не хочется. Нормально все их бекапить — слишком напряжно по ресурсам. Так-что хотя-бы raid1, на случай вылета диска

Ежедневно скидывать куда-то 2 Тб данных? И/или перелопачивать 2 Тб данных что-бы скинуть только новые? Нет, спасибо.
Бекап хорош для относительно малых объёмов. Документы там, исходники, фоточки (если их не много). Бекапить фильмотеку на полтора тера это как-то не очень.

Так-что бекап для критического, и raid1 для того что-бы очко не сжималось когда хард подозрительно щёлкает

А rsync для чего?

перелопачивать 2 Тб данных что-бы скинуть только новые?

Следи за руками.

------------------------------------------------------------------------------                                  
Archive name: 2017-07-17T21:36:48
Archive fingerprint: 023978df1cf9961a1a68adea1a8663d69787bd242e85d0b83c750d9f4beb031c
Time (start): Mon, 2017-07-17 21:36:51
Time (end):   Mon, 2017-07-17 21:38:01
Duration: 1 minutes 10.27 seconds
Number of files: 134636
------------------------------------------------------------------------------
                       Original size      Compressed size    Deduplicated size
This archive:                2.67 TB              2.67 TB            197.98 MB
All archives:               56.07 TB             56.07 TB              2.73 TB

                       Unique chunks         Total chunks
Chunk index:                 1190640             24449795
------------------------------------------------------------------------------

Это с кэшем, конечно, но даже тупой rsync, который я использую для бэкапа на внешний диск (этот — NFS-шара) тратит немногим больше времени.

За бекап уже сказали, ну а в остальном — хозяин барин.

Просто ты заявил в приоритеты тишину, надёжность, а за это платить надо. По факту оказалось, что цена больше в приоритете.
Я не хейчу, просто подмечаю.

Чтобы было некоторое представление: несколько 2.5" винтов в боксах, яростно махающих головками, где-то по акустике как раз догонят один 3.5" 5400, просто крутящийся без дела.
Если 2.5" винт не Тошиба (которая в наследство от Hitachi, которая в наследство от IBM, получила громкий блок головок), то с высокой вероятностью он будет очень тихим даже под нагрузкой.

У меня 2.5" Seagate на 4.5Тб некоторое время раздавал торренты, лежа на коврике для мыши на столе. Так его ночью можно было расслышать, только если голову выше стола поднять.

Это чем так? У меня rsync (правда через ssh и средненькую сеть) ссаные 200 Гб и 1700 айнодов считай без изменений (максимум пяток файлов в пара гигов) бекапит сколько-то десятков минут (или даже больше часа, не помню).
Хотя если полагаться на mtime то можно наверное сильно это дело ускорить (сами данные трогать не обязательно), но как-то это не надёжно. Вот если-бы ФС хранила и предоставляла актуальную чексумму каждого файла… но это ж какие тормоза при записи небось.

Плюс не бекапить саму систему не получится, а восстанавливать её это тоже некоторый геморрой. Всегда есть шанс постфактум вспоминть что вон в том файлике было что-то важное о чём я забыл. Это ведь не суровый продакшен, тут не документируется каждый грязный хак, что-бы стать частью стройной архитектуры (:

В общем нах. Надоело мне ссаться за здоровье диска, хочу зафигачить raid1 и успокоиться на счёт железа

borgbackup.

А, как думаешь, Seagate BarraCuda ST2000LM015 (2.5") сильно калл? Чёт у меня на Сигейт не стоит уже давно, какой-то он не торт в последнее десятилетие, но я ведь только 3.5" юзал, может в 2.5" всё принципиально иначе

на рэйдовых чуть более жесткий отбор по качеству. а в десктоп - всякий фуфел идет по принципу «прошел кое-как тесты, хоть и с половинной плотностью по головам - ну и ладно». 30-40 тысяч дефектов на одной голове в заводских листах для свежих wd - вполне себе нормальное явление.

Blue сейчас это те-же Green

Лол. То есть кроме Black для домашнего использования вообще ничего не осталось.

Если 2.5" винт не Тошиба (которая в наследство от Hitachi, которая в наследство от IBM, получила громкий блок головок)

бред, тошибы 2.5" к хитачам никакого отношения не имеют. и да, громкие они только у тех, у кого руки не стоят покрутить AAM.

а «тихие» винты - те, у которых ААМ задушен принудительно в прошивке.

автопарковка (которую впрочем можно выключить указав АРМ 254 - но до ребута), ну и большие сомнения по части надежности.

Я просто констатирую факт, что у этих граждан блок головок был всегда громким.
Почему WD и Seagate не нужно крутить AAM?

Сейчас у меня на руках есть терабайтовая тошиба, есличо.
А как строчил IBM, это надо было слышать. Я его хранил на полке только за его олдфажный тёплый ламповый звук.

Я придумал такой вариант: два харда по 2 Тб в RAID1 + какой-нибудь не слишком тормозной, хлипкий и мелкий SSD

А почему не рассмотреть вариант с бо́льшим количеством небольших гибридных дисков, из которых построить raid 5-6 или даже 10-1e, если нужна сверхнадёжность?

Почему WD и Seagate не нужно крутить AAM?

да потому что на заводе задушены по самое немогу. с соответственно печальным iops. ну чтобы black-и да серверные покупали.

и да, wd black тарахтят как трактора. что 3.5 что 2.5. то же касается и всяких RE.

потому, что гибридные диски не рассчитаны на сколь-либо интенсивную запись, и если у них дохнет флэш (а она у всей пачки сдохнет примерно в одно и то же время из-за одинакового износа) - с данными на hdd тоже можно прощаться?

Кстати да, у гей-биридных дисков флэш маленький и потому сдохнет раньше, тк грубо говоря не 2 раза 1000 ячеек записано будет, а 1000 раз 2 ячейки.

гибридных дисков

Там идея-то на самом деле здравая, но соотношение объёма кэша к собственно кэшируемой области такое смехотворное, что благородные доны просто игнорируют их существование.

Да и ещё судя по тестам загрузки венды там хрен дождёшься пока оно закеширует что нужно, пришлось ребутаться несколько раз, чтоб с нормальным ссд сравнялось.

aidaho, NiTr0 и anonymous, да, сейчас почитал, действительно на десктоп и на сервер гибриды нет смысла ставить. Только на ноуты, да и то не всегда.

Но второе предложение по созданию raid5-6-10-1e (на выбор топикстратера) из 4 терабайтных дисков, а не 2 2-терабайтных, имхо, разумное. Это обойдётся ненамного дороже, зато выигрыш в скорости будет минимум в 2 раза. Единственное возможное препятствие для такой конфигурации - отсутствие места под установку 5 дисков (если к ним ещё добавить 1 ssd).

; диска шумят вдвое сильнее чем 2 диска. Да и сверхскорость не нужна (иначе я-бы не смотрел на грины), для сверхскорости планируется кэш на SSD

https://www.citilink.ru/catalog/computers_and_notebooks/hdd/hdd_in/692114/usl...

дополнительную гарантию и страховку от послегарантийных поломок можно купить в ситилинке

не будет выигрыша в скорости...

выигрыш в скорости будет минимум в 2 раза

В какой скорости? С линейной и так всё в порядке.
А когда пойдёт случайный доступ, то весь этот рейд цинично будет унижен одной usb-флешкой.

А когда пойдёт случайный доступ, то весь этот рейд цинично будет унижен одной usb-флешкой.

Кроме того NiTr0 написал:

не будет выигрыша в скорости...

См., например, тесты от 2012 года по ссылке http://www.team.ru/lab/raid_test.shtml .

И напомню, что сравнивать надо не с одиночной флешкой или диском, а с raid1. Кроме того, тесты не проводились на raid10. Думаю, что даже там, где raid1 занял 1-ое место, raid10 показал бы результат не хуже.

Ну и массивы, конечно, тоже надо кешировать.

Впрочем, всё это уже не имеет прямого отношения к топику, т. к. ТС сказал, что ему важнее тишина, нежели скорость.

у меня есть домашний рэйд5. на продакшне тоже есть и рэйд5, и рэйд1. особой скорости у них я не вижу.

См., например, тесты от 2012 года

Посмотрел, и что? 7200 SATA диск даст около 80 IOPS в лучшем случае.
Тут хоть в кирпичную стену обложись ими.

У флешки IOPS измерять придётся в тысячах :)

у меня есть домашний рэйд5. на продакшне тоже есть и рэйд5, и рэйд1. особой скорости у них я не вижу.

Я думаю, что если бы стоял рэйд0, то увеличение скорости было бы заметно. Другое дело, что надёжность рэйд0 оставляет желать лучшего. Рэйд1 скорость вообще не увеличивает (вернее, может увеличить при чтении, но очень незначительно), он нужен для повышения надёжности, а не скорости. Рэйд5 увеличивает и скорость, и надёжность и уменьшает избыточность по сравнению с рэйд1. Наконец, у рэйд10 скорость почти как у рэйд0, а надёжность почти как у рэйд1, но и избыточность x2, как у рэйд1.

Там, где важна надёжность, сравнивать разные рэйды надо с рэйд1, а не с одним диском. Если же в приоритете исключительно скорость, то нужен рэйд0 и ничего больше.

Ну и скорость рэйд5 по любому должна быть выше, чем у отдельного диска. Если это не так, то скорее всего на скорость влияют другие факторы, как то

1. Одиночный диск просто сам по себе быстрее дисков из рэйд5.

2. Медленный рэйд контроллер.

3. Слабая пропускная способность шины.

4. Отсутствие или недостаток кэша для рэйд. Возможно, стоит увеличить оперативную память.

5. Может что-то забыл.

В общем, мне кажется, тут надо разбираться в причинах, а не валить всё на рэйд5. Ведь если бы он действительно был так неэффективен, то кто бы его использовал?

Ну и ещё, при рандомном доступе к небольшим блокам данных, эффект от рэйд действительно намного меньше, чем при последовательном доступе, хотя даже в этом случае можно добиться как минимум примерно такой же производительности.

7200 SATA диск даст около 80 IOPS в лучшем случае.
Тут хоть в кирпичную стену обложись ими.

У флешки IOPS измерять придётся в тысячах :)

Так речь же не об ssd vs hdd, а об raid1 vs raid10 (radid5, raid6), где все рэйды на одинаковых дисках (будь то ssd или hdd). Это как на вопрос, какой автомобиль лучше, ответить, что лучше - боинг 747. :-)

7200 SATA диск даст около 80 IOPS в лучшем случае.

180-200. если это не жертва маркетинга с задушенным AAM.

а вот 5400 зеленый - таки да, наверное около 100 иопс осилит...

1. Одиночный диск просто сам по себе быстрее дисков из рэйд5.

нет, проводил сравнение скорости - линейное чтение было на уровне одиночного диска +-

2. Медленный рэйд контроллер.

разные - и набортный нфорс, и lsi 3042, и набортный интел

3. Слабая пропускная способность шины.

нет, см. выше

4. Отсутствие или недостаток кэша для рэйд. Возможно, стоит увеличить оперативную память.

ну если все в кеш упихать - то понятно что читаться быстро будет. но причем тут тестирование собссно массива/дисков?

В общем, мне кажется, тут надо разбираться в причинах, а не валить всё на рэйд5. Ведь если бы он действительно был так неэффективен, то кто бы его использовал?

его используют в первую очередь как дешевую замену рэйда 1 большого объема.

Считай что 0, на норм nvme ssd 300000+.

180-200

Случайных? Точно нет.
В ситуации, эквивалентной short-stroking, где метаться приходится в узкой области, ещё может можно как-то натянуть до 150.
Из тех винтов, которые я бенчил, никто даже 90 не взял, все 70-80.
Выше дают только серверные.

Но пусть и 150 будет. Ситуация не меняется: как два порядка не дотягивали до SSD, так и не дотягиваем.
Нужны iops'ы? Забей на рейд из вертушек и просто купи SSD.

Случайных? Точно нет.

таки да. реальная СУБД на реальном рэйде 1.

Но пусть и 150 будет. Ситуация не меняется: как два порядка не дотягивали до SSD, так и не дотягиваем.
Нужны iops'ы? Забей на рейд из вертушек и просто купи SSD.

почем там 4тб SSD будет? уже до 200 баксов ценник упал что ли? не, на порядок-два больше? пичалька...

таки да. реальная СУБД на реальном рэйде 1.

ЧТД: головы мечутся между индексами, а не по всей пластине.

почем там 4тб SSD будет?

По всем четырём терабайтам головам постоянно летать? Очевидно же, что нет.
Профилируй своё блочное устройство с БД, иди покупай SSD, и кэшируй под свою нагрузку.

В 17м году предлагать поднимать iops'ы дополнительными вертушками...

ЧТД: головы мечутся между индексами, а не по всей пластине.

ну да, подумаешь под 100гб база, делов-то :)

По всем четырём терабайтам головам постоянно летать? Очевидно же, что нет.

я кажется о ценника спрашивал, не?

В 17м году предлагать поднимать iops'ы дополнительными вертушками...

в глаза долбитесь? где я такое предлагал?

• жёсткие диски HGST Ultrastar A7K2000 2TB
• SSD A-Data Ultimate SU800 128GB

ну если все в кеш упихать - то понятно что читаться быстро будет. но причем тут тестирование собссно массива/дисков?

его используют в первую очередь как дешевую замену рэйда 1 большого объема.

http://www.team.ru/lab/raid_test.shtml

При [случайной] записи лучшую производительность демонстрирует RAID 0 [skip] RAID 5 и RAID 6 показывают одинаковую скорость, которая равна скорости одного диска. Этот «ненормальный» результат объясняется тем, что при тестировании был отключен кэш контроллера, вследствие чего контроллер не мог оптимизировать выполнение операций чтения и записи (чтение на операциях записи необходимо для вычисления четности). С включенным кэшем производительность RAID 5 из 24 дисков должна примерно соответствовать производительности RAID 0 из 6 дисков (одна запись в RAID 5 – это чтение блока данных и блока четности с двух дисков, а затем запись блока данных и блока четности на эти два диска, штраф на запись - 4), а производительность RAID 6 – производительности RAID 0 из четырех дисков (соответственно, чтение трех блоков с разных дисков, а затем запись на них же, штраф на запись -6).

Купил себе WD Blue 3TB 5400rpm 64MB WD30EZRZ. Практически не слышно. Да, тоже брал, чтобы был «тихий» ПК.

Ежедневно скидывать куда-то 2 Тб данных? И/или перелопачивать 2 Тб данных что-бы скинуть только новые? Нет, спасибо.

Да нормально будет, по крайней мере можно попробовать. Raid это не бекап, удалишь что-то случайно, ты или скрипт, и все.

какой кеш контроллера в софтрэйде, болезный?...

какой кеш контроллера в софтрэйде

так что мешает поставить контроллер, если не устраивает скорость?