Сколько последовательных (нерандомных) IOPs выдает современный недорогой SATA диск типа TOSHIBA HDWA130 ?

Сколько у тебя там кеш у диска и у дд? Возьми лучше быстрый sas диск, если тебе иопсы важны. Это такой заговор у производителей или вроде того.

а SAS прям сразу добавит иопсов в разы )))

у него наверно головка в разы быстрее ерзает?

Мне иопсы не столько важны конкретно у HDD, сколько важно знать показатель, чтобы примерно посчитать скорость рамдомной синхронной записи в ZFS. Известно, что ZFS c помощью быстрого SLOG (например SSD) транслирует рандомные записи на zvol в последовательные (насколько позволяет текущая фрагментация раздела) на vdevs, ведь так?

Стало любопытно, сколько надо дешевеньких SATA дисков в пуле ZFS, чтобы сравниться с дорогущим IBM хранилищем за поллимона зелененьких президентов, которое выдает около миллиона IOPS.

Наверно, достаточно бы было хорошей серверной материнки с несколькими многопортовыми passthrough SAS контроллерами, совместимыми с SATA и модуля ZEUS RAM?

Получилось бы в разы дешевле, если не на порядок.

sas 15k и sata 5k это совсем не одно и то же

Сейчас ссд вроде доступные, пихай везде ссд. Механика дно в любом случае. Можешь sas ssd взять.

Всегда забавляют такие утверждения. Тысяч 15-20 дисков, наверное, хватит. Нет, не достаточно и вообще не то же самое. нет, не будет сильно дешевле.

Ваши 128kb это readahead. То, что HDD читает сразу и потом отдает из кэша.

Ждал такого сообщения.

Можно поподробнее?

Скорость записи чем будет хуже, например, при 200 HDD зеркалах или при 20 SSD зеркалах типа Samsung 850 и старше?

fio
лучше использовать fio, а не dd c последующим разведением скучных дискуссий на форуме

Скорость записи чем будет хуже, например, при 200 HDD зеркалах или при 20 SSD зеркалах типа Samsung 850 и старше?

В обоих случаях упретесь в пропускную способность интерфейса ;).

IBM хранилищем за поллимона зелененьких президентов, которое выдает около миллиона IOPS.

Два оптана выдадут миллион IOPS, а MRAM выплюнет столько IOPS, что хватит всем.

На поллимона можно столько оптанов напихать, или MRAM кэш...

Стало любопытно, сколько надо дешевеньких SATA дисков в пуле ZFS, чтобы сравниться с дорогущим IBM хранилищем за поллимона зелененьких президентов, которое выдает около миллиона IOPS.

В любом случае данные с носителей сначала кэшируются в памяти, а потом отдаются. Так что ты хочешь сравнить не скорость конечных устройств, а ответную реакцию системы (сверх)оперативной памяти.

Чем больше возможностей по кэшированию данных, тем быстрее они отдаются - логически обоснованный факт. ZFS отводит большую часть памяти под Arc-кэш. Если его не ограничивать, то со временем память заполнят «горячие» данные, отдающиеся со свистом, а к носителям информации, как источникам, обращения сведутся к нулю.

dd if=/dev/sdb | pv > /dev/null

И что ты тестируешь таким образом? Производительность page cache?
Запускал бы с флагом direct хотя бы. И c of=/dev/null, чтобы исключить пайпы всякие.

Последовательное чтение, значит должно быть куча по-merge-енных реквестов. А у тебя rrqm/s по нулям. Явно какая-то хрень.

Первую строчку-то в iostat хоть отбрасываешь?

А разве pipe сколько-нибудь влияет на скоростях в сотню метров в секунду?

Это не первая строчка, да и время взято 10 секунд, и для первой строчки нормально бы показало.

Конечно сравнить скорость хранилища, а не отдельных устройств.

В случае записи кэшировать синхронную рандомную запись наверно можно на ZEUS RAM или аналоги. А дальше данные будут отправляться на диски уже последовательно. Интересно сравнить хотябы в случае записи.

По чтению ZFS может предложить ARC L1 (оперативка) и L2 (например быстрые SSD).

И что там такого у IBM хранилища более лучшего, кроме гарантии и поддержки?

Скажи, у тебя есть хоть 1 зфс объемом более 50 терабайт в поддержке хотя бы на 3 года? Ну и чем ты его отдаешь, блочно например умеешь?

Или ты пока только научился неправильно мерить производительность дисков, и хватит?

Максимум 9ТБ - 3 зеркала.

Раздать ZVol по iSCSI - это rocket science?

Вместо снобизма можно обозначить узкие места моей идеи? Сетевой интерфейс? Пропускная способность PCI Express для контроллеров? Латентность оперативки и проца? Что еще?

Что происходит при падении сервера?

У IBM дублируется на другое подобное хранилище с online переключением?

и это тоже, но начать можешь с запуска одного образа операционки на нескольких материнках, чтобы при выходе одной или нескольких из строя система продолжала обслуживать клиентов. для начала, хотя бы 99,999 доступности, потом 100% с материальными гарантиями как у хитачи. добавь туда от 100 до 600 физических интерфейсов и возможность их всех реально обслужить выдавая заявленные иопсы с задержками не выше милисекунды.

У IBM дублируется на другое подобное хранилище с online переключением?

Ну вот, ты почти дошел до причины, почему у сас-дисков 2 порта, а у саты - один.

Мультипуть?

Для бедных наверно и диски зеркал на разных контроллерах сойдет (и так сойдет), хотя конечно это фигово если после вылета одного контроллера еще и диск вылетит на оставшемся другом.

А у Хитачи есть ZFS хранилища или железки под них?

Диски уж очень хороши у Хитачи, хотя это не по теме.