22 SSD RAID хранилище

Да, дисковая подсистема 4 гбайт в сек даёт. Гнездо pciex 2 гбайт / сек. Процессора хватит на такой поток.

1) я уже 11 лет как не студент 2) бюджетно или нет вопрос относительный и потратить на эту штуку в районе 150т для меня нормально. Но всегда лучше дешевле. 3) мне нах не нужны шпиндельные диски для этой задачи. Мне нужна скорость с запасом, а не еле еле выжатая скорость из шпиндельных дисков. И кстати я прекрасно знаю сколько они выдают на 6ом рейде. 4) эта штука мне нужна не чтобы проектики перекидывать, а чтобы люди могли работать эффективно напрямую с сервака. Кстати сказать мы и щас работаем напрямую на гигабитной сетке. Но хочется большего. В случае данной системы люди будут работать напрямую с сервака, фактически как если бы проект лежал на локальном диске

Поэтому господин «эксперт» держите свои оценки при себе, если ничего дельного посоветовать не в состоянии.

Спасибо.

Еще вопрос. Сколько для этой системе нужно оперативы? 32 или хватит 16ти за глаза?

Вы заставляете всех работать на гигабите? Или у сервака хоть в свитч 10 уходит? А то лол какой то, 1 гигабит/12 клиентов - в 12 раз медленнее доступа к обычному шпиндельному хдд, не говоря о просадке иопсов при одновременной работе. Все очень «эффективно».

Больше похоже на экономию на рабочих станциях. Локально самс эво/про на терабайтик в каждую станцию выходит дороже.

В свич идет 10. Практика показывает, что если мы только читаем с сервака, то в принципе гигабитки хватает. Но это именно в принципе хватает. Хотелось бы конечно быстрее.

Не хочу с механическим классическими hdd связываться

Тогда рекомендую Samsung 850 PRO Series. Самые хорошие SSD диски по надежности (да и по гарантийному сроку). Год назад себе выбирал, просмотрел кучу статистики, обзоров и отзывов.

https://market.yandex.ru/catalog/55316/list?srnum=70&hid=91033&text=S...

Мне кажется столь мощная материнка за 43т. совершенно ни к чему для данной задачи.

Абсолютно. Тебе просто нужен железный рейд, типа такого: https://ark.intel.com/products/77346/Intel-RAID-Controller-RS3DC080

Перекрестись.

а сетевуху купить отдельно

Не хватит штатной встроенной сетевухи, купишь потом помощней.

Боюсь они слишком дорогие )) я планирую за 8-9т брать SSD на 480-500 гигов каждый.

А в этих я за те же деньги только 250 возьму

Сказать по правде я очень против аппаратных рейдов )). Я софтварный на mdadm соберу

Интересная экономия, учитывая что на клиенты тоже 10 гбит ставить надо, чтобы получить хороший эффект.

Кстати какая у вас максимальная дистанция от свитча до компьютера?

А тебе знакомы подобные hdd? ССД хоть по гарнтии заменят.

Может вам лучше infiniband юзать? Правда там с обжимкой не побегаешь и 20 метров максимум от свитча. Зато оборудование (ну кроме самих проводов хе-хе) значительно быстрее и дешевле эзернета.

До компов в пределах 5-15метров

Infiniband дорого выходит

Я планирую для рабочих компов закупить простые 10gb карты типо ASUS PEB-10G/57811-1S

Есть hdd с гарантией 5 лет, и по соотношению цена/объём выходит намного дешевле ssd.
Кстати, в среднем серверные hitachi/toshiba/hgst отрабатывают более 5 лет.

Ну да, наверное дорого, я просто смотрел на оборудование списанное с датацентров, которое стоит относительные копейки.

Просто IB SRP показывает 120000 iops на 64к блоках на оборудовании 2011 года, а 10 гбит сетка даже до одиночного SSD не дотянет.

Плюс сетка 10 гбит, а IB 40 - 56 гбит.

Правда в этом случае придется юзать SAS/SATA HBA адаптер, который выдаст 32 гбита.

Вот кстати нашел наглядное сравнение:

http://www.zeta.systems/blog/2016/09/21/iSCSI-vs-iSER-vs-SRP-on-Ethernet-&amp...

Ethernet просто разорван на тряпки.

Где такое оборудование смотрел?

ebay.com с доставкой по США.

22 ssd диска на 240-256

Это 11 дисков по 512

5 дисков по 1024

2 диска по 3ТБ

похоже, выбрав мешок мелких ССД, ты нашел себе проблему :( Я бы построил хранилище на паре 3х ТБ, уверен, скорости достаточно будет, небось не коллайдер обслуживаете)

Слишком мало дисков - слишком большая потеря пространства. Слишком много тоже геморрой :)

Скажите, какие могут быть варианты по железу для организации данной задачи?

Задача не описана вообще. Видимо, телепаты должны догадаться что за проекты, что за материалы, каков объём данных, какая скорость доступа требуется.

Но железо с миллионом оперативы и ста гигагерцами уже выбрал, молодец.

Ну так и проходи мимо, раз тебе нехуа непонятно ))

Ты не понял. Это ты нихуа не объяснил, а не мне что-то не понятно. Клоун.

поставьте один NVME SSD 2Tb как кеш к дискам (или если речь про 6Тб то диску), или материнку с большим количеством PCI-E и 4 SSD

Лет семь-восемь назад я озадачился похожей проблемой. В итоге купил железный рейд https://ark.intel.com/products/42874/Intel-RAID-Controller-RS2BL080 и восемь терабайтных HDD (ssd тогда были очень дорогие и мелкоразмерные).

С тех пор все прекрасно живет и проблем не знает (HDD нужны с хорошим гарантийным сроком и «Raid Edition»).

Моя железка контроллера с тех пор, кстати, не особо подешевела.

Скорость:

ganymede ~ # hdparm -tT --direct /dev/sda

/dev/sda:
 Timing O_DIRECT cached reads:   3730 MB in  2.00 seconds = 1866.34 MB/sec
 Timing O_DIRECT disk reads: 2604 MB in  3.00 seconds = 867.89 MB/sec

PS:

Из личного опыта — как только ты выходишь за рамки стандартного набора компа начинаются проблемы. От банальной проблемы воткнуть кучу оборудования в один корпус и сделать охлаждение, до просадок по питанию, говеных разветвителей питания, и всяких сюрпризов от bios и операционок.

Еще советую подобные штуки воткнуть в корпус: http://www.icydock.com/goods.php?id=114

WD Black RE

Цыгане делают?

Ребята, немного не по теме, но просто, чтобы собрать законченую систему без сетевухи не обойтись.

Есть 2 сетевухи: 1) http://www.regard.ru/catalog/tovar170887.htm 2) http://www.regard.ru/catalog/tovar190780.htm

Обе 10Гигабитные. Я вижу, что они отличаются разьемами, но не очень понимаю, какую выбрать. Подскажите, в чем отличия принципиальные между ними?

Одна для оптики, вторая для витухи. Зависит то свитча твоего и инфраструктуры. Свитч какой?

Я планировал что-то типо quanta lb6m взять.

Смотри сколько будут еще sfp+ стоить под это удовольствие. Иногда по цене сетевых карт стоят.

А вот тут вопрос. Что реально дешевле получается sfp+ или витуха? если от свича до компа максимум 20 метров?

Витуху ты обжать можешь, если совсем припрет (скорость в 10 гигабит не будет при ручной обжимке, но как временное решение внезапной проблемы сойдет). А оптику только варить.

Для оптики есть патч-корды.

А для бродкомов нормальные дрова для линукса?

Без понятия. Я такое не использую.

В общем пока что вырисовывается такая конфигурация.

SSD: 6 дисков 1Tb SSD Kingston KC400 Series (SKC400S37/1T) на MLC памяти Мать: ASUS A88XM-PLUS (8 SATA разьемов 6Gb/s) Проц: 4х ядерный AMD A8-7600 OEM Память: 32Gb DDR-III 1600MHz Crucial Ballistix Sport Сетевуха: ASUS PEB-10G/57840-2S

Все это я упакую в 1U корпус. Пока еще не решил сделаю RAID 6, RAID 5 или вообще бомбануть и зафигачить RAID 0. Особенно если учесть, что вся инфа будет каждую ночь бэкапиться на второй сервак.

Пока выбираю в основном между RAID 5 и 0.

Ты случайно не троллишь? Тут сейчас поллора словят разрыв сердца.

Пока выбираю в основном между RAID 5 и 0.

Для езды по городу пока выбираю между трёхколёсным велосипедом и болидом F1.

6 дисков 1Tb SSD Kingston KC400 Series

phison

32Gb DDR-III 1600MHz Crucial Ballistix Sport

Оверклокерский детсад, без ECC.

Все это я упакую в 1U корпус

В галерею выложить не забудь.

Эээ. Так, вообще-то это не троллинг.

Не очень понял собственно в чем проблема данной конфигурации?

Phison какая с ним проблема? kingston вроде всегда неплохие делала диски

Память. Да мне по фигу что она оверклокерская. Она была просто самая дешевая.

Насколько наличие ECC критично в данном случае?

У вас есть другие варианты?

С raid5 скорее всего сильно просядет производительность на чтение и ещё сильнее на запись.
На raid0 есть риск потерять все данные, надо быть уверенным что бэкапы надёжные. Почитай историю gitlab.
Так что raid10 будет хорошим вариантом.

Да, спасибо. Думаю RAID 10 будет хорошим вариантом.

1. phison это контроллер китай-дисков. И кингстон сделала много кошмара.

2. Ну конечно пофиг какая память, особенно в сочетании с raid 10, программным массивом и физоном, потом посмотрим что сделают с тобой за испорченные бекапы.

3. И в 1U ты своё барахло не засунешь.

raid 5 быстрее чем raid 10 на чтении и немного медленее на записи.

пруф ? к тому же ssd заметно шустрее hhd, значит накладные расходы на raid5 будут больше.