Привет всем!
Прошу небольшого совета по улучшению производительности RAID хранилища на ZFS.
На данный момент имеется такая конфигурация:
NAME STATE READ WRITE CKSUM
hdd-zraid ONLINE 0 0 0
raidz2-0 ONLINE 0 0 0
ata-TOSHIBA_HDWG160_41N0A08MFAWG ONLINE 0 0 0
ata-TOSHIBA_HDWG160_41X0A007FAWG ONLINE 0 0 0
ata-TOSHIBA_HDWG160_41X0A00HFAWG ONLINE 0 0 0
ata-TOSHIBA_HDWG160_41X0A034FAWG ONLINE 0 0 0
ata-TOSHIBA_HDWG160_41X0A036FAWG ONLINE 0 0 0
Как можно видеть, собрана на 5-ти HDD Toshiba N300 [HDWG160UZSVA], по 6 ТБ каждый. Т.е. доступного пространства имеется 18 ТБ. Жёсткие диски подключены в SATA материнской платы, которых 6 штук (один получается свободный), контроллер на м.п.:
lspci |grep SATA
06:00.0 SATA controller: Advanced Micro Devices, Inc. [AMD] FCH SATA Controller [AHCI mode] (rev 51)
07:00.0 SATA controller: Advanced Micro Devices, Inc. [AMD] FCH SATA Controller [AHCI mode] (rev 51)
Кроме того, на материнской плате есть слоты расширения PCI Express 4.0: 1 * x16 (занят видеокартой, но I/O тут небольшой), 1 * x4, 3 * x1. Чипсет X570.
Производительности на HDD не хватает. Есть операция по сборке датасета для обучения НС (обучается на другой машине), где прочитывается около 9 ТБ картинок. Хотя на выходе получается не больше 250 - 300 ГБ, но процедура получается очень долгой. Поэтому возникла мысль заменить HDD на SSD.
SSD по 6 ТБ что-то мне не встретились, ближайший подходящий вариант (т.е. чтобы было >= 6ТБ) - Kingston DC500R на 7.6 ТБ. Соответственно, их надо 5 штук, как сейчас жёстких дисков. Выходит довольно дорого. Зато, можно заменить HDD на SSD один за другим, без остановки системы, как я думаю. Какие в этом случае могут быть подводные камни? Заработает ли TRIM после замены? Правильно ли я понимаю, что после замены всех устройств ZFS можно будет расширить на всё доступное пространство, или нет?
Другой вариант. Можно поставить SSD поменьше, но количеством побольше. По соотношению объёма и цены подходят модели на 4 ТБ. Например, Samsung 870 EVO или Western Digital WD Blue. Не суть важно, в этой категории выбор уже побольше и цены не такие страшные. Чтобы получить такой же доступный объём их надо 7 штук, т.е. будет 20 ТБ. Вообще есть мысль, что лучше 8 штук и тогда можно будет повысить уровень избыточности до RAIDZ3. Но в данном варианте горячая замена уже не получится, придётся создать новый ZFS RAID и на него скопировать всё добро. Возникает вопрос в подключении новых SSD. На материнской плате свободных портов недостаточно, поэтому надо какие-то контроллер(ы) SATA. Я вот нашёл какой-то Espada PCIe8SATAMar и есть мысль таких поставить две штуки, чтобы не нагружать на 100%. Но всё равно есть сомнения, насколько быстро в нём будут работать даже 4 устройства, не станет ли оно узким местом? Вот тут нашлось вроде бы то же самое. В отзывах пишут, что в GNU/Linux работает хорошо и из коробки, но вот на скорость жалуются. Кроме тех нашёл ещё LSI 9400-8i SGL, туда можно будет подключить сразу все 8 устройств. В принципе ради этого вполне допустимо видеокарту переставить в X4 слот, ей хватит, т.к. обмен данными небольшой, обучение не здесь. Но я вообще никогда никакие отдельные SATA контроллеры не покукал. Поэтому и хочу посоветоваться. Что лучше выбрать? Может быть кроме двух Espada или одного LSI есть что-то получше?
Какие вообще есть варианты переезда на SSD?
