Низкая скорость локальной сети

А диск с какой скоростью у тебя может принимать?

А сетевушка случайно не на старом PCI висит? Плюс посмотри /proc/interrupts на тему совместного использования прерываний. Если у Вас eth0 и жёсткий на одном прерывании - вот и причина. Бывает ещё, что в драйвере сетевушки не включён/не настроен NAPI для разгрузки процессора при интенсивном обмене по сети.

Тестировал вот так dd if=/dev/sdb1 of=/dev/null Серверный ~110mb/s Клиентский ~165mb/s

Вроде с хорошим запасом, хотя на файлах медленнее и скорость чуть ли не в два раза может различаться в разных местах дисках.

Да, сетевушка на старом PCI. Но прерывания используют разные. По NAPI сейчас посмотрю.

сетевушка на старом PCI

Имеется ввиду старый PCI 2.0? 33mgz, 32bit? Его не хватает гигабитную карту прокачать. Пиковая пропускная способность для 33 МГц — 133 Мбайт/с. И это теоретически. Реально сильно меньше.

https://ru.wikipedia.org/wiki/PCI Сначала точно разберись, что у тебя за PCI и какой PCI максимум умеет карточка. Может быть достаточно её в более продвинутый PCI переставить, на старых мамках могут быть 33/66 и 133 слоты.

Проблема в том, что скорость при обмене файлами не поднимается выше 40 мб/с (320 мбит/с), с редкими и не большими просадками.

вангую там linux bridge. Если так, переходи на OVS.

а может и PCI...

Проверил. Да именно так PCI 2.0 33mgz. Еще на той мамке есть PCIe x1, видимо придется искать сетевуху под этот интерфейс.

Проверил. Да именно так PCI 2.0 33mgz. Еще на той мамке есть PCIe x1, видимо придется искать сетевуху под этот интерфейс.

Это вариант. Правда меня смущает что на плате имеющей PCIe для совместимости оставлен только 33 мегагерцовый PCI. Возможно есть перемычка или настройка в бивисе переводящая его в 66. Гигабитные карточки под старый PCI 66 всегда умеют, 33 там для обратной совместимости. Так что если ты слот в правильный режим переведёшь станет быстрее.

Кстати, если есть PCI-X слоты (длинненькие такие), они вполне подходят.

Проверил оба слота PCI. Я ошибся, они оба 66mgz 32bit. Видимо эта скорость для них максимальная. Хотя я еще почитаю про эту мамку в интернете.

Учти ещё два момента. Во первых без jumbo frames чего либо близкого к гигабит на гигабитной сети ты не получишь никогда, много накладных расходов, но в большинстве случаев этим можно пренебречь. Во вторых, были поддельные китайские как_бы_гигабитные реалтеки под старый PCI32 разъём, по сути сотки с разогнанной тактовой частотой. Спецификации 1000BASE-T они соответствовали не полностью, тормозили, глючили и флудили в сеть. Я их наелся в своё время.

Если PCI - то 40МБайт/с это очень хорошо. Учитывайте, что PCI это шина, тут нужно смотреть, какие ещё устройства на этой шине висят и используют пропускную способность (например, интегрированные в мат.плату звуковушка, порты ввода-вывода (com, lpt) вполне могут там висеть). Плюс ко всему, PCI условно полу-дуплексная шина, в один период времени только одно устройство (включая bus-master) может передавать данные. Так что скорость нужно считать суммарную и на приём и на передачу. С учётом всех издержек на служебные данные и задержки как раз до 50МБайт/с и получается.

Посему - ищите PCIe сетевой адаптер, лучше Intel, у них длинные очереди для NAPI из коробки и куча offload механизмов в чипе, причём в линуксе в драйверах всё поддерживается.

Поставил MTU в 5000 и Backlog в 3000, скорость осталась прежней. Буду покупать PCIe карточку.

Всем спасибо за советы!