LINUX.ORG.RU

22 SSD RAID хранилище

 ,


2

1

Друзья, решил озадачиться созданием специального хранилища в нашей студии на 22х SSD дисках объединенных в рейд скорее всего 6й на mdadm.

Надеюсь на вашу помощь в подборке комплектующих. Задача у хранилища одна. Работать 24/7, хранить текущие рабочие проекты и быстро раздавать материал сотрудникам студии. Сразу оговорюсь, что следующий шаг будет организовать 10гигабитную сеть в студии, чтобы сеть не была узким горлышком.

Ориентир по конфигурации мой на текущий момент:

64 гига оперативки 22 ssd диска на 240-256 ГБ Мать ориентировочно asrock x99 extreme 11 Проц пока не определилился. Ну корпус и БП

Скажите, какие могут быть варианты по железу для организации данной задачи?

Какие могут возникнуть подводные камни? Скажем не станет ли камнем преткновения контроллер на материнке или скажем накроется ли мать от 22х ssd?

Спасибо. В общем рассчитываю общими усилиями найти оптимальный вариант и по цене и по качеству.

  • 12 гибридных жёстких дисков Seagate Laptop SSHD 500GB
  • оперативная память Kingston HyperX FURY 8x8GB DDR4 PC4-17000
  • материнская плата ASRock X99 WS-E/10G
  • процессор Intel Xeon E5-2603V3
  • корпус Corsair Obsidian 750D
  • блок питания ExeGate PRO RM-600ADS 600W
Deathstalker ★★★★★
()

Всего 5 тб. Чем студия занимается?

stave ★★★★★
()
Ответ на: комментарий от Tanger
[    1.779430] AVX2 version of gcm_enc/dec engaged.
[    7.424773] raid6: avx2x1   gen() 23529 MB/s
[    7.492778] raid6: avx2x2   gen() 27482 MB/s
[    7.560774] raid6: avx2x4   gen() 28116 MB/s
[    7.560775] raid6: using algorithm avx2x4 gen() 28116 MB/s
[    7.560775] raid6: using avx2x2 recovery algorithm
[    7.561347] xor: automatically using best checksumming function   avx 

Видимо, хватит.

anonymous
()

как использовать рейд на ssd и просрать скорость на запись ?
просто используй raid6 !

Deleted
()
Ответ на: комментарий от anonymous

Я правильно понял, что потянет 22 ssd софтварный рейд?

ITdreamer
() автор топика

быстро раздавать материал сотрудникам студии.

Сколько сотрудников и какие у них раб. станции?

следующий шаг будет организовать 10гигабитную сеть в студии

в каждой раб. станции будет 10G карта?

futurama ★★★★★
()
Ответ на: комментарий от Deleted

Кстати неплохая идея. И экономичнее выйдет и с прицелом на будущее.

ITdreamer
() автор топика
Ответ на: комментарий от futurama

Сотрудников 8-12 человек. Делаем графику. Много рендера, симмуляций и т.п.

Да в каждой станции будет 10 гигабитная карта. Станции на xeon мощные

ITdreamer
() автор топика
Ответ на: комментарий от ITdreamer

Ты только не забывай, что у него очень фичасто рассыпался первый сервак с рейдом на Кингстонах...

Там у него газовыхлопное отверстие еле охладили, данных тоже потеряли, если не путаю.

Deleted
()
Последнее исправление: RTP (всего исправлений: 1)
Ответ на: комментарий от ITdreamer

Не хочу с механическим классическими hdd связываться

Тебе знакомы ssd, которые способны по 5 лет без проблем работать ?

Deleted
()
Ответ на: комментарий от ITdreamer

Бог в помощь!

З.Ы. Я бы взял <= 10 hdd по 2-4GB и сделал бы RAID10 (в крайнем случае RAID6) и не парился.

futurama ★★★★★
()
Последнее исправление: futurama (всего исправлений: 1)
Ответ на: комментарий от Deleted

Щас идея в том чтобы сделать отдельный сервак на ssd raid в 4.5-6 ТБ. Он именно для каждодневной работы студии над текущими проектами. Данные каждую ночь будут бэкапиться на наш основной сервак где 16тб

ITdreamer
() автор топика

Если стоит задача оптимизации стоимости хранения, а у тебя она стоит, то 6й рейд неплох, только ты имей ввиду что на asrock x99 extreme 11 всего 18 портов которые подходят для твоих дисков. i3 для этой конфигурации тебе вполне хватит и никто не запрещает взять проц с большим количеством ядер, mdadm использует SSE2 и полностью загрузив одно ядро выдаст приблизительно 3Tб/с на запись, у тебя нагрузка раз в сто меньше или более того. Для того чтобы raid6 быстро работал на запись ставь stripe_cache_size 8192 или помноженное на n, настрой запись bitmap на отдельный диск, наверно туда же где стоит система.

novoxudonoser
()
Ответ на: комментарий от Deleted

По 2-3 года точно знакомы. А это 1) в пределах гарантийного срока, 2) все будет каждую ночь бэкапиться на основной сервак, 3) в моей практике с обычными SSD проблем почти не было. А вот с классическими порядком. Правда я еще не пробовал ssd в рейде

ITdreamer
() автор топика
Ответ на: комментарий от futurama

в каждой раб. станции будет 10G карта?

А почему бы и нет? По любому станции - декстопы с большим количеством памяти и ssd.

novoxudonoser
()
Ответ на: комментарий от novoxudonoser

ООО! Вот за это спасибо. Я щас подумывал про 10-12 дисков но на 480-500 ГБ. Это выгоднее экономически, хотя скорость чтения будет ниже в 2 раза чем в 22 дисковом случае, но все равно она будет запредельная для моих задач.

ITdreamer
() автор топика
Ответ на: комментарий от ITdreamer

Спустись с небес и открой даташит контроллера.

Надо ставить адаптеры, которые подключены именно к процессору.

А raid 6 только дополнительно загрузит шину. И неправильно установленная сетевуха тоже посадит производительность!

steemandlinux ★★★★★
()
Последнее исправление: steemandlinux (всего исправлений: 2)

С другой стороны у тебя сетевуха ограничена 10 гбитами.

Поэтому лучше взять 8 SSD на 960 Гб. Будет более чем достаточно.

steemandlinux ★★★★★
()
Ответ на: комментарий от novoxudonoser

ну во-первых в одну сторону 4 гбайт, во-вторых там DMI 2.0 у которой пропускная способность 2 гбайт в одну сторону.

steemandlinux ★★★★★
()
Ответ на: комментарий от novoxudonoser

В одну сторону 2 гбайт, а во-вторых 22 ssd диска это 132 гигабита, с учетом raid 6 будет еще и высокая служебная нагрузка.

steemandlinux ★★★★★
()
Ответ на: комментарий от steemandlinux

во-вторых 22 ssd диска это 132 гигабита

тут ты не прав во первых, в raid6 чтение производиться только с дисков с данными, а во вторых с каждого диска чтении будет приблизительно по 200мб/c при условии что данные на них равнораспеделены. Вообщем я думаю что из этой схемы выжать 5Гбит/c по сети можно, мож можно и все 10.

novoxudonoser
()
Ответ на: комментарий от Deathstalker

Мне кажется столь мощная материнка за 43т. совершенно ни к чему для данной задачи.

Мне кажется можно найти гораздо дешевле с большим количеством слотов, а сетевуху купить отдельно.

ITdreamer
() автор топика
Ответ на: комментарий от ITdreamer

Не обращай внимания на него, он флудит в подобных темах, «советуя» всякую хрень, часто вообще не подходящую под требования.

sudopacman ★★★★★
()
Последнее исправление: sudopacman (всего исправлений: 2)
Ответ на: комментарий от ITdreamer

intel x540 t2

Втыкать в 4-е гнездо pciex16. Видеокарта должна быть в 1-м.

steemandlinux ★★★★★
()
Ответ на: комментарий от ITdreamer

У этой материнки X540, а это полноценные сетевые процессоры, а не физические интерфейсы, возможно они на процессоре висят, а не чипсете.

steemandlinux ★★★★★
()
Ответ на: комментарий от steemandlinux

Ребята, я тут наткнулся вот на такую интересную материнку

Supermicro A1SA7-2750F

17 разьемов SATA, встроеный проц уже на 8 ядер. Есть PCI Express 2.0 чтобы вкорячить сетевуху. И видюха встроенная есть. Вкорячу в нее 16 или 32 гига оперативы и нормуль.

Что скажете? Мне кажется идеальный бюджетный вариант.

ITdreamer
() автор топика
Ответ на: комментарий от ITdreamer

10gbe сеть и 22(!sic) SSD чтобы «проекты качались быстрее» — это уже не бюджетно, а больше на мечты студента похоже (ник намекает какбы)

  1. 10Гигабит СХД выдают на обычных шпиндельных дисках
  2. их нужно меньше 22шт
  3. 10Гигабит трафика клиент сможет утилизировать только в оперативку
  4. или 8-10 клиентам тоже 22 SSD поставишь?
  5. SSD нужны для большого iops, скачать проектик в маленькой студии мне кажется не требует 80k iops'ов

короче, дело к ночи, я бы твои фантазии охладил переносом темы в толксы на месте модератора и увольнением по статье на месте начальника студии

system-root ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.