Помощь с выбором железок под нетворк стораж

нетворк стораж

2 SSD

Выкинь нафиг SSD из конфигурации. Максимум, что можешь сделать - поставить один SSD малого объёма под систему. И то при внезапном отключении риск слёта системы выше, чем с HDD, но зато грузиться быстрее будет... раз в несколько месяцев. Так что на NAS вообще не нужны SSD на данный момент. За эти деньги ещё один хард воткнуть можно.

Есть ли смысл от SSD кэша с объёмными виртуалками?

Нафига тебе виртуалки на домашнем NAS? Если просто хочется, то тебе нет смысла задавать тут вопросы - берёшь и покупаешь.

ceph - это ж сколько нод у вас планируется-то?...

Есть ли смысл от SSD кэша с объёмными виртуалками? Не совсем понимаю как будет работать кэш, если виртуалка - образ диска, объём которого может превышать объём кэша.

Лучше за эти деньги рамы докинь.

Минимум 48.

Или про какие ноды речь? Для ceph? Если да, то 3 для репликации.

Какой смысл от рамы, если всё упрется в сеть, а потом в харды? Если была речь от кэш в рам.

Какой ещё домашний nas на ceph? )

Какой смысл от рамы

Такой же, какой был бы от SSD: дисковый кэш для виртуалок.

купи лучше вот это: https://www.span.com/product/Samsung-Enterprise-SSD-PM1643-MZILT30THMLA-00007...

Идея хороша, но с 10GBps сетью / 8 хватит с избытком. Хотя если расширяться до 20GBps, то будут потери производительности.

Да и с SSD всяко безопасней.

Последовательное чтение (в пределах)
2600 MB/s
Последовательная запись (в пределах)
2200 MB/s
575000 IOPS
550000 IOPS

Да за такую стоимость можно две машины купить в желаемой комплектации, с большей отказоустойчивостью и производительностью :)

ну можно и не конкретно эту модель, погугли, сейчас хватает относительно недорогих ssd размеров 8 Тб и больше

Вы предлагаете под кэш или хранение?

Если кэш, то я до сих пор не знаю как он будет работать, когда виртуалка - это образ (один файл).

Если для хранения данных - дорого.

Если для хранения данных - дорого

дороже двух терабайтных intel optane + харда на 14 Тб? ну не знаааааю

Два оптана идут под кэш, 14тб под хранение. Это самые дешёвые оптаны из 905ых, остальне 905ые или дорогие или костыли

всё равно не верю, что это <намного> дешевле, чем пара 8-терабайтных ssd

не успел отредачить

Два оптана идут под кэш, 14тб под хранение. Это самые дешёвые оптаны из 905ых, остальне 905ые или дорогие или костыли.

То есть, 2 optane - Raid 1. 14-тб в количестве (наверно 60ый Raid, зависит от доков ceph)

смотри, по Регарду:

1 intel optane на 960 Гб - 104к

хард на 14 тб - 40-45к

итого - 250к

тогда как 2 7.68Tb SSD Micron 5200 Eco - 264к

2 optane - Raid 1

raid1 под кэш? ЗАЧЕМ

В чем выгода?

Кэш идёт для дисков в количестве, а не одного. Если брать ссд - объём в два раза меньше, почти в шесть раз дороже. Если брать три машины, как планируется - в 18ть раз дороже.

Что предлагаете делать, если кэш с данными вылетит и не успеют данные на диск скинуться?

а, у тебя не 1 хард будет, ну тогда да

хотя я бы лучше засунул гигов 256-512 оперативки

Raid на кеш не нужен. Если там данные побьются, zfs их перечитает с хардов заново.

Так тебе zil или l2arc нужен?

ну если ты так ставишь вопрос, то кэш вообще не нужен, пиши все данные с жёстким sync))

если у тебя 2 одинаковых ssd, то вылетят они примерно в одно время, так что делать из них raid1 бессмыленно чуть менее, чем полностью

Если там данные побьются

Там, это где?

zfs их перечитает с хардов заново

На хардах данных не будет, тк данные останутся в кэше или будут потеряны, если вылетит кэш совсем.

но в оперативке-то данные останутся, вот оттуда и пойдёт повторная запись

если у тебя 2 одинаковых ssd, то вылетят они примерно в одно время, так что делать из них raid1 бессмыленно чуть менее, чем полностью

Я не про ресурс, а аппаратные проблемы.

А хотя о чем я вообще речь веду. Ни о чем. Репликация же, пусть вылетает хоть целая машина, хоть кэш. Совсем забыл про это.

То есть, 2 optane - Raid 1. 14-тб в количестве (наверно 60ый Raid, зависит от доков ceph)

Что это ещё за реализация?

1) Обычно на ssd выносят журнал. Только не совсем понятно, почему именно Optane? Типа стильно-модно-молодёжно? Хватит обычных хороших ssd.
2) HDD в RAID60 а потом его отдавать в Ceph? Ой-вэй! Больший бред трудно представить.


Мусье, ознакомьтесь для начала с документачкой Ceph, тогда вопросов станет значительно меньше.

Там это в кеше l2arc я подразумевал.
Нет, кеш на чтение arc и l2arc дублируют те данные, что есть на хардах.

Больший бред трудно представить.

Я же подчеркнул, зависит от доков ceph. В репликации он вообще не нужен, по сути.

Ты не прав.

вообще-то рэйд в репликации таки нужен. ну как минимум для того чтобы потом 100500тб не синхронизировать. но 60 как по мне оверкилл, 5 (или даже 6 чтобы точно надежно было, и не получалось неконсистентных данных при внезапном отключении питания) хватит.

а по поводу кеша - если dm_cache, то ему глубоко пофигу на файлы и т.п., он о существовании файлов и не подозревает т.к. кеширует наиболее часто запрашиваемые блоки.

Спасибо за развернутый ответ. Особенно интересно и полезно про dm_cache (работа с блоками).

raid1 под кэш? ЗАЧЕМ

затем, чтобы при вылете одного ssd всё колом не встало, даже если он у тебя под рукой на замену - кэш ещё долго прогреваться может.

Замените этого анона, он херню постит.

а если это zil, то тем более желательно зеркало. если не хочешь остаться без данных, которые попали в zil, но не успели записаться на диск.

обминам локалхоста не понять

Я вот не пойму, вы из интерпрайза, где нет оперативки в серверах, и l2arc быстрее чем дисковый пул?

Оперативка менее надежна, чем кэш из SSD. Тем более производительность оперативы с избытком для 10Gbps.

Я вобщем-то таму анону отвечал, у которого при вылете кеша всё колом встаёт. Или это был ты?

Сорян, не обратил внимание.

вот есть база размером пару терабайт, которая делает 50000 физических iops, сам сможешь посчитать какого размера дисковый пул нужен и сколько места ты просто так выкинешь или помочь?

сможешь посчитать какого размера дисковый пул нужен

В зеркало 2*4Тб ssd через hba или 2*4Тб nvme ssd

сколько места ты просто так выкинешь

Нисколько не выкину.