[ынтерпрайс][писькомерко]Прошу поделиться опытом по СХД тех, у кого не сверхсекретная работа, как у «внедренцев» ZFS

Мы как раз собираемся прикупить Hitachi AMS2300 с SSD в качестве кеша. Хотя это уже нефига не мидрэнж. По отзывам SSD кеш очень не кисло увеличивает скорость, но вот менять sata на ssd в качестве основных носителей пока рановато ИМХО. Ты не забывай, что кроме быстрого винта нужны быстрые контроллеры, а это есть не в каждой полке, а уж если модель не новая, забита процентов на 80, да лунов создано до бога мамы, то тогда уж точно ssd не помогут.

Меня, грубо говоря, интересует, может ли как-то мидренж справиться с таким количеством транзакций или нет, и вообще насколько адекватно это для второстепенной задачи. То есть, это не система в которой сидит и работает несколько тысяч человек, просто аналитика какая-то.

и вообще насколько адекватно это для второстепенной задачи.

А эта нагрузка постоянна или эпизодическая?

Постоянная, эпизодически бывают снижения до 800 и выбросы до 5000, но 90% энергии сосредоточено в интервале от 1000 до 4000

Постоянная, эпизодически бывают снижения до 800 и выбросы до 5000, но 90% энергии сосредоточено в интервале от 1000 до 4000

Хм... Не знаю, конечно, объёмов, но, по-моему, это многова-то для второстепенной аналитики.

> Меня, грубо говоря, интересует, может ли как-то мидренж справиться с таким количеством транзакций или нет, и вообще насколько адекватно это для второстепенной задачи. То есть, это не система в которой сидит и работает несколько тысяч человек, просто аналитика какая-то.

tps без среднего размера транзакции неточный показатель, поэтому сказать определённо нельзя.

Скорость при этом порядка 10 MB/s

> Есть задача, создающая нагрузку вида 1k-4k tps на массив. ... аналитика

Может я чего-то не понимаю... аналитика же что-то считает? А откуда тогда такое количество *транзакций*? Под транзакциями понимаются ACID-compliant действия, которые записываются на диск? Зачем ACID-ность для аналитики, ее же должно быть можно пересчитать заново в случае чего? Или транзакции тут - это что другое?

нагрузка создается посредством дергания SQL-ной СУБД или как-то по-другому?

В данном случае это СУБД, но откуда там транзакции я не знаю, я не разработчик системы и даже не dba, поэтому мне нужно дать заключение по «чёрному ящику».

Может, все-таки не в TPS(что ближе к СУБД), а в IOPS мерять, поскольку речь вроде о СХД ?

измерения из iostat

Вопрос в чем? Как заставить винты в массиве тянуть больше iops чем они могут? Очевидно это зависит только от винтов. Единственное что тут можно сделать это уменьшить количество iops (побольше ОЗУ на кеширование например, deadline шедулер включить вместо дурного CFQ, если юзаешь zfs то можно вызвать тяжелую артилерию — ssd-write-cache)

измерения из iostat

Сорри, неверное понял(в постах выше упор сделан на транзакции), колонка из iostat это и есть IOPS :-)

> поэтому мне нужно дать заключение по «чёрному ящику».

:-))

измерения из iostat

А что такое транзакции тогда? число write ops per second?

В данном случае это СУБД, но откуда там транзакции я не знаю,

хм, я бы сначала посмотрел в строну СУБД (но я датабазник, что от меня ожидать:). Гоняющие аналитику, прежде чем просить еще СХД, должны проверить настройки всяких кешей-буферов. Если в аналитике диск стал узким местом, то это часто бывает можно погасить, просто добавив памяти...

Прежде чем тратить деньги на железо, я бы сначала выяснил, а кто и чем там забил все disk io... а то купите, а результата никакого не будет...

Лично мне кажется, что как-то крутовато для второстепенной задачки иметь такое в io.

Постоянная, эпизодически бывают снижения до 800 и выбросы до 5000, но 90% энергии сосредоточено в интервале от 1000 до 4000

Чета многовато, действительно. Сдается мне, стоит попинать разрабов.

Для сравнения, один 15K SCSI диск может дать в пике около 300 :-)

Правда, тот же Intel-овый X25E дает 2000-3000 :-)

собственно, это не транзакции в понимании СУБД, это

tps - Indicate the number of transfers per second that were issued to the device. A transfer is an I/O request to the device. Multiple logical requests can be combined into a single I/O request to the device. A transfer is of indeterminate size.

Резюмируем так: «Нагрузка на дисковую подсистему неадекватная, требуется обоснование необходимости такой работы сервиса со стороны разработчика.»

:)

Если в аналитике диск стал узким местом, то это часто бывает можно погасить, просто добавив мозгов написателям запросов. Очевидный фикс :-)

Баттхёрт я смотрю тебя никак не отпускает...

tps - Indicate the number of transfers per second that were issued to the device

Эти твои tps - это запись или чтение?

если эти tps сопоставимы с iops, а судя по ниже написаному, так оно и есть, то 4к это на разминку нормальному мидренжу, надо только подумать хорошо.

>>Мы как раз собираемся прикупить Hitachi AMS2300 с SSD в качестве кеша. Хотя это уже нефига не мидрэнж.

смотря как посмотреть, если со стороны некоторых конкурентов, то конечно по их меркам, то что можно из этого выжать, это уже хай-энд =)

но вот менять sata на ssd в качестве основных носителей пока рановато ИМХО.

сата на ссд никто менять и не думает =)
сата вообще не место там где надо много iops.

забита процентов на 80

это главное, то что лунов много это зачастую не проблема. конечно если это не wms100 какой или что похожее.

>сата на ссд никто менять и не думает =)

сата вообще не место там где надо много iops.

Ага, неудачно написал. Нотел сказать hdd на ssd. Поторопился.

Пока что набитый твердотельными накопителями симетр неплохо себя чувствует, раз уж e=mc^2 дают гарантию - почему бы не использовать? Производительность очень впечатляет.

и что, прямо-таки все диски ssd?

Почти треть, как раз столько, сколько нужно под самую наглую задачу.
Остальные обычные 15k FC.

тогда ладно, а то я уж было совсем потерял веру.
кстате, задача полностью живет на ssd?

Нет, только критическая табличка. Задача целиком кушает весь набитый доверху массив.

При наличии десятка подобных серверов мидрэнж неслабо проседает и уже не может обеспечить работоспособность при таких потребностях. Это-то и наблюдается

хмм, 10 серверов по 4kiops? это еще не предел для мидренжа, надо только хорошо думать и знать как работает хай-энд и использовать эти механизмы. да и вообще san как работает.

Пруф будет, какой мидренж нормально держит такие объёмы, или опять информация от марсиан?
Для клариона со шпенделями 40k iops это уже перебор, а ставить твердотельные туда дороговато получится.

>>Для клариона со шпенделями 40k iops это уже перебор,
мы emc вообще не рассматриваем как достойное к применению. именно потому, что 40к уже перебор и есть еще забавные моменты из жизни.

http://www.storageperformance.org/benchmark_results_files/SPC-1/HDS/A00078_Hi...

90kiops. и это без ssd - идите, студенты, учитесь.

да, еще - тесты те, как видно, без особых настроек и тд, даже райд1.
заявленная же производительность ams2500 - 400kiops.
мы такие цифры только в лабах у hitachi видели, поскольку пока еще нет у нас в полном конфе ни одного. но на примерно половине 150-200 можно получить, в зависимости от задач.

Это же синтетика,
пионэры вон тоже намерили - http://virtualization.info/en/news/2008/05/benchmarks-vmware-esx-surpasses-mo...

Я потому и спрашивал о практическом опыте, ибо реальность оказалась слабо коррелирующей с рекламой.

ну дак пионеры там с тюнингом постарались. и название почитай внимательно - у них задача не с ящика снять 100к, а с одного esx хоста.
из того что бросилось в глаза - они используют 3! клариона, с общим кол-вом дисков 495 против 352 у hitachi и одного mainunit, ну и raid0 кругом у пионеров...

Я потому и спрашивал о практическом опыте, ибо реальность оказалась слабо коррелирующей с рекламой.

привыкай, у emc оно всегда так - одна лишь реклама и громкие слова ;)

Это специфика консолидации.
Дело не в этом, конкретно с хитачей я не знаком, а вот XP ничего особенного из себя не представляет, так что маркетинг от реальности у всех отличается слишком сильно.

>>Дело не в этом,

а в чем?

конкретно с хитачей я не знаком,

зато я с хитачи очень хорошо знаком, сервисный инженер по-совместительству, если что.

так что маркетинг от реальности у всех отличается слишком сильно.

у кого как, хитачи не делает пуковых заявлений.

сервисные инженеры EMC тоже зуб дают, что клара 20000 iops вытянет. А толку то?

и что, не тянет даже 20к?

кстати, дело то в чем?
и причем здесь специфика консолидации?

Суммарно тянет и больше. А вот отдельные сервера на 3-4k уже имеют проблемы.
В принципе, если сделать пару тройку серверов, то тоже нормально будет и под 5-7 тысяч, но вот когда суммарное число нагруженных переваливает за десятку, тут уже приходится симетр напрягать

При том, что ESX консолидирует большое количество серверов и очень хорошо распределяет нагрузку. С виртуалками проблем как раз нет, отлично стыкуется к кларами.
А дело в том, что их тюнинг очень узок и не годится для широкого спектра задач, под которые обычно берутся клары

я про то и говорю, что emc это далеко не пример для подражания в мире схд ;)

но вот когда суммарное число нагруженных переваливает за десятку, тут уже приходится симетр напрягать

кластерная инфраструктура из 28 серверов и 2х ams1000 (разрабатывалась задолго до выхода спеков ams2ххх партнерам) нагрузка ~80kiops, массивы в «зеркале». и не надо никаких симетров, и тем-более usp (hitachi high-end).

не совсем понятно к чему это...
я тебе указал на то, что сравнил ты один ящик и три от емц. и то недалеко они ушли ;)

с виртуалками и у hitachi никаких проблем, равно как и с zfs.

А дело в том, что их тюнинг очень узок и не годится для широкого спектра задач, под которые обычно берутся клары

если что, тюнинг не заканчивается механизмами, разрешенными лицензиями.

я не понимаю тех людей, кто берут клары, с их то производительностью и тд )

Ну, значит нихрена вы продавать не умеете, вам же хуже.

Ну это не тебе судить, емц у нас другие продают. в тот раз мы выполнили условия тендера намного дешевле конкурентов с симами и прочим хайэндом (не хитачи), им только у виска покрутили, когда сравнили ценовые предложения.

Я про доли рынка говорю. Как в миде, так и в хайэнде.
Если хитач настолько круче, то почему он не то что не лидирует, а даже весьма проигрывает e=mc^2?
Видимо, всё те же причины, почему ZFS там же. Слишком привередливые и секретные внедренцы.

есть такой момент, у хитачи с маркетингом очень так себе. и они немного дороже «аналогов». а в нашем мире правят маркетоиды и тк решения, зачастую, принимают люди мало понимающие в этих делах - они ориентируются на то у кого речи слаще и кто вкусней накормит. а это в емц хорошо умеют. как то так.

Отчасти да, только у нас решения принимают люди хорошо знакомые с истинным положением дел, но понимающие, что некоторые продукты лучше не только технически, но и с точки зрения собственного благополучия принимающего решение физлица.
А тот же клар вполне себе масштабное решение за свои деньги, хоть и не самое производительное, но весьма надёжное.
Хотя, active/active это для мида было бы вкусно...

>>что некоторые продукты лучше не только технически, но и с точки зрения собственного благополучия принимающего решение физлица.

при таком раскладе чаще бывает, что при дальнейшей эксплуатации
выясняется, что верной оказалась только вторая часть утверждения.
и что может перерасти в батхерт принявшего решение ;)

но весьма надёжное.

выдыхай, емся никогда не славилась надежностью железа. особливо все что ниже хая.

Хотя, active/active это для мида было бы вкусно...

welcome to hitachi world

Люди принимающие решения редко отвечают за их последствия, это обычная практика.

Я говорю то, что есть. Работают клары неплохо, претензии лишь к тому, как они держат высокие io. По сравнению с симетром делают они это слабовато, но это не моя проблема.

Затем и нужна конкуренция. Будут делать хорошие продукты и продавать - остальные игроки тоже зевать не будут.