Несколько вопросов по блейд-серверам

Лучше всего конечно почитать официальную документацию на шасси, на блейды, на i/o модули. Судя по википедии https://en.m.wikipedia.org/wiki/Dell_M1000e

Никаких стандартных сетевых портов на блейдах нет, есть только разъемы для подключения к мидплейну шасси. Можно использовать Ethernet passthrough i/o module, чтобы вывести разъемы в стандартные порты. Между ними уже можно делать соединения патч-кордами.

У блейдов три зоны разъемов для соединения с мидплейном, A, B, и C. В каждой зоне два разъема. Зона A используется встроенными в сервер сетевухами. Зоны B и C используются мезанинными платами расширения. Так что максимум 6x10GbE на сервер.

Наверное все что я написал верно про серверы половиной высоты. Про полные и четвертинки в Википедии как-то неясно написано.

А те кому мы писали нас проигнорировали, очевидно мы для них не достаточно серьёзные. Ну или вопросы слишком детские.

Открывайте сайт делла и пишите авторизованным дилерам. Там есть пресейлам инженер, он все расскажет

В принципе на современном шасси встроенный свич довольно шустрый и производительный (10Gbps для него явно проблемой не будет).

Есть в природе (по крайней мере были рашьше у фуджитсу) блейды у которых были отдельные ethernet порты на передней панеле (правда всего 2 штуки + 4 выхода на внутренние свичи шасси), и можно было подключать витую пару прямо в блейд минуя шасси.

Для линукса (да и наверное для всех сетевых железок) решающее значение имеет не Gbps а Pps (Packet Per Second), как показывает практика критичной стороной является прием пакетов - отправка на порядок более дешовая. Если принимать UDP траффик через весь стек (device -> driver -> TCP/IP stack -> application) то у нас в виртуалке на стариньком Xeon 100K Pps/sec на ядро это норма. На реальном железе, да еще без апликейшен леера (просто маршрутизация) думаю 500К Pps получить реально на ОДНО ядро (тоесть 10 ядерный Xeon в теории должен выдать 5M Pps - но я думаю что это сильно заниженая цифра). Но есть свои нюансы, нужно понимать что где и как тюнить - нужны нормально настроенные ринг буфера, NAPI2, подкрученные сетевые бюджеты и отбалансированый IRQ (разведенные нормально потоки по очередям + адаптерам с рабочими для вашего трафика хешами), ну и от правил в iptables тоже зависить сильно нагрузка на CPU.

Да и по поводу «потестировать» - можно взять у любого хостера пару блейдов на месяц в аренду, поганять на них тестовый траффик и решить подойдет ли оно вам или нет ...

У половинчатых блэйдов обычно бывает по 2 встроенных сетевых интерфейса, у полноразмерных - 4. Это только встроенные, без учета мезанинных слотов (которых может быть 2 или 3), куда тоже можно вставить карты.
Еще могут быть средства виртуализации - например, у HP один NIC можно поделить на 4 штуки, указав для каждого FlexNIC'а разную пропускную способность с интервалом в 100 Мбит/с. И ОС увидит вместо одного сетевого интерфейса 4. Соединить между собой тоже можно. Есть ли это у DELL - без понятия, у HP это называется Virtual Connect и Flex.

Большое спасибо за ответы. Это мы читали, но к сожалению страшные слова и сокращения вроде «А1 fabric» и прочее немного смущают, когда до этого не сталкивался и не трогал вживую этот fabric. Вроде всё понимаем, что написано, но когда без практики и не пощупать вживую - закрадываются сомнения насчёт правильности понимания

Честно говоря я не думаю, что блейдовые сервера будут как-то сильно отличаться от раковых по производительности сетевой подсистемы. Просто решили присмотреться к блейдам и попробовать на них перейти, вот сейчас дурим себе и людям головы с такими вот вопросами.

Про ring, NAPI2, IRQ я уже насобирал чтива для тюнинга сетевой подсистемы, готовлюсь сражаться с этим делом. Но вот слова «с рабочими для вашего трафика хешами» каждое по отдельности понятное, но вместе в таком сочетании не слышал. Не могли бы Вы скинуть ссылку на это дело? Ну или парой слов о чём это вообще, о то пока гугл выдаёт кеш-меш и прочий Хабр.

Заранее спасибо

Спасибо. Делл не принципиален, если то что нам нужно есть у НР - возьмём НР

Надо было, наверное, упомянуть, что дело происходит в Испании. А здесь всё оооочень не обязательно и ещё более оооооооочень не быстро. И вероятность того что на запрос вообще забьют отнюдь не нулевая и даже где-то ближе к единице. Возможно они и ответят. Через месяц или два.

кто-нибудь пускал трафик от 10Gbps и выше через линуксовые сервера-роутеры

Много кто пускал. После тюнинга, который достаточно легко гуглится, все тупо работает.

Суть проблемы: есть одна 10Gbps сетевая воткнутая в сервер с 10 ядрами и здесь возникает проблема так как в «старой» схеме сетевой адаптер генерирует 1 приревение, это 1 прерывание заводится на какоето 1 ядро CPU в результате при большом сетевом траффике на сервере 1 ядро загружено на 100% (то на которое заведено прерывание) остальные 9 ядер загружены на 0% - но сервер не уперается в потолок и начинает дропать пакеты (так как одно ядро не успевает процессить весь траффик, а распаралелевания нету так как все весит на одном прерывании).

Для решения этой проблемы придумали такую вещь как «multi queue». С этой фичей сетевая карта весь входящий траффик расбрасывает по нескольким очередям (количство очередей как правило можно конфигурировать, например мы включили 8 очередей), каждая очередь генерирует свое отдельное прерывание, прерывания от разных очередей заводятся на разные ядра в результате у вас уже 8 ядер задействованы для обработки сетевого траффика и сервер может обрабатывать в 8 раз больший поток.

Это былло введение (которое вы скорее всего знали и так), теперь про хеши. Сетевому адаптеру нужно расказать каким образом раскладывать пакеты по очередям, для этого используется хеш функция, как правило по умолчанию хеш берется из пары SRCIP:DSTIP но это не всегда работает (например если у вас тестовый бокс с двумя серверами для всех пакетов эта пара будет одинаковой).

Еще если у вас будет 2 CPU на сервере то нужно по возможности избегать пересечения между NUMA блоками.

Ещё раз спасибо. Как оказалось и про распределение по очередям по хешу тоже знал. В изначальном сообщении смутило словосочетание «рабочие для трафика хеши».