LINUX.ORG.RU
Форум — Admin  

VLAN низкая скорость

 


1

1

Всем привет.

Работает сервер доступа на Debian 8.

Авторизация абонентов по PPPoE и Статический ИП.

Сеть небольшая, но стала расти, всё было в одном единственном VLANe, но везде была изоляция портов на коммутаторах, появилась необходимость делать VLAN: Добавили интерфейс, присвоили IP

vconfig add eth1 32 ifconfig vlan32 10.30.32.254/24

Подняли так же PPPoE сервер: pppoe-server -I vlan32 -L 10.30.32.254 -O /etc/ppp/pppoe-server-options -k

Но к моему удивлению абоненты не получаются нужной скорости когда находятся в VLANе, шейперы в этот момент отключали. Скорость в районе 25 мегабит получается.

Удаляем VLAN на коммутаторе, все возвращаются в VLAN1 - и всё приходит в норму.

Чую где-то засада в самом сервере доступа. Может кто что подскажет? Нужна помощь!

Спасибо!


← Клонирование domu в xen
Группы пользователей debian, polkit и монтирование дисков. →
 ← 1 2

PPPoE

Батенька знает тол в извращениях.

Нужна помощь!

Вангую у тебя фрагментация фреймов. Лучше сядь и посчитай, какую матрёшку ты городишь.

itn ★★★
()
Ответ на: комментарий от itn

Я понимаю, что возможно делаю неправильные вещи.

Но может быть в сторону своебразные насмешки и подсказать человеку, как сделать все по уму?

tnega
() автор топика
Ответ на: комментарий от tnega

Но может быть в сторону своебразные насмешки и подсказать человеку

Хорошо, в сторону подсказать человеку, уговорил!

Zhbert ★★★★★
()

Традиционно первый вопрос - какая загрузка процессора на сервере доступа при потреблении пользователями траффика во VLAN-е?

Для начала нужен выхлоп lscpu и lspci -k. Как распределены прерывание на сетевой карте(смотреть cat /proc/interrupts)? Настройки самой сетевухи(ethool -g <ifname>, ethtool -k <ifname>, где <ifname> - имя устройства)? Настройки RPS/XPS и RFS тоже будут не лишними, хотя это уже чуть более глубокая оптимизация(на современном серверном железе стоит заморачивать на скоростях от 100Мбит/сек и выше)

Ну и последнее(очень-очень маловероятно что из-за этого проблема, но всё же) - что за коммутатор используется(имеется ввиду коммутатор стоящий непосредственно перед сервером и с которого на сервер спускается тегированный VLAN)?

Pinkbyte ★★★★★
()
Последнее исправление: Pinkbyte (всего исправлений: 2)
Ответ на: комментарий от Pinkbyte

Спасибо добрый человек!

Сервер доступа работает не напрягаясь судя по загрузке ЦП, загрузка по вечерам 30-40 %, и то нагружает её анализ и учёт трафика bandwidthd. Если бы не он - несколько процентов всего нагрузки. Сервер двухпроцессорный, 8 ядер, Xeon E5440, прерывания i350-t2 сетевая карта, прерывания перераспределены на один процессор. 4 гига оперативка. из них используется только 384, голый дебиан. contrack_max - повышен. кэш таблицы arp тоже. 600 абонентов, 500 мегабит трафика. Я думаю, что для этого сервера это не предел.

Прерывания: 69: 11 0 0 0 0 0 1 1 PCI-MSI-edge eth1 70: 1490743821 372 375 344 383 396 384 404 PCI-MSI-edge eth1-TxRx-0 71: 889048139 261 266 273 270 258 242 247 PCI-MSI-edge eth1-TxRx-1 72: 268 877778927 273 224 222 230 230 250 PCI-MSI-edge eth1-TxRx-2 73: 245 872807721 263 224 234 229 244 236 PCI-MSI-edge eth1-TxRx-3 74: 277 276 886932298 269 247 291 262 275 PCI-MSI-edge eth1-TxRx-4 75: 214 250 875860973 236 265 230 280 260 PCI-MSI-edge eth1-TxRx-5 76: 318 300 307 933808383 311 331 322 319 PCI-MSI-edge eth1-TxRx-6 77: 262 226 225 907543668 231 223 217 244 PCI-MSI-edge eth1-TxRx-7 78: 1 0 0 0 1 0 1 0 PCI-MSI-edge eth0 79: 1206340383 532 506 521 499 498 488 475 PCI-MSI-edge eth0-TxRx-0 80: 876436231 184 191 192 187 207 183 176 PCI-MSI-edge eth0-TxRx-1 81: 230 860385396 191 230 243 214 228 235 PCI-MSI-edge eth0-TxRx-2 82: 174 873618096 158 173 152 186 174 163 PCI-MSI-edge eth0-TxRx-3 83: 200 207 849324851 219 206 223 238 233 PCI-MSI-edge eth0-TxRx-4 84: 198 210 850654569 189 205 202 219 185 PCI-MSI-edge eth0-TxRx-5 85: 307 300 308 892244772 328 298 288 315 PCI-MSI-edge eth0-TxRx-6 86: 196 173 176 859536054 194 171 177 173 PCI-MSI-edge eth0-TxRx-7

Процессор:

Architecture: i686 CPU op-mode(s): 32-bit, 64-bit Byte Order: Little Endian CPU(s): 8 On-line CPU(s) list: 0-7 Thread(s) per core: 1 Core(s) per socket: 4 Socket(s): 2 Vendor ID: GenuineIntel CPU family: 6 Model: 23 Model name: Intel(R) Xeon(R) CPU E5440 @ 2.83GHz Stepping: 6 CPU MHz: 2833.499 BogoMIPS: 5667.32 Virtualization: VT-x L1d cache: 32K L1i cache: 32K L2 cache: 6144K

tnega
() автор топика
Ответ на: комментарий от tnega

00:00.0 Host bridge: Intel Corporation 5000P Chipset Memory Controller Hub (rev b1) Subsystem: Super Micro Computer Inc 5000P Chipset Memory Controller Hub 00:02.0 PCI bridge: Intel Corporation 5000 Series Chipset PCI Express x8 Port 2-3 (rev b1) Kernel driver in use: pcieport Kernel modules: shpchp 00:04.0 PCI bridge: Intel Corporation 5000 Series Chipset PCI Express x8 Port 4-5 (rev b1) Kernel driver in use: pcieport Kernel modules: shpchp 00:06.0 PCI bridge: Intel Corporation 5000 Series Chipset PCI Express x8 Port 6-7 (rev b1) Kernel driver in use: pcieport Kernel modules: shpchp 00:08.0 System peripheral: Intel Corporation 5000 Series Chipset DMA Engine (rev b1) Subsystem: Super Micro Computer Inc 5000 Series Chipset DMA Engine Kernel driver in use: ioatdma Kernel modules: ioatdma 00:10.0 Host bridge: Intel Corporation 5000 Series Chipset FSB Registers (rev b1) Subsystem: Super Micro Computer Inc 5000 Series Chipset FSB Registers Kernel driver in use: i5000_edac Kernel modules: i5k_amb, i5000_edac 00:10.1 Host bridge: Intel Corporation 5000 Series Chipset FSB Registers (rev b1) Subsystem: Super Micro Computer Inc 5000 Series Chipset FSB Registers Kernel modules: i5k_amb, i5000_edac 00:10.2 Host bridge: Intel Corporation 5000 Series Chipset FSB Registers (rev b1) Subsystem: Super Micro Computer Inc 5000 Series Chipset FSB Registers Kernel modules: i5k_amb, i5000_edac 00:11.0 Host bridge: Intel Corporation 5000 Series Chipset Reserved Registers (rev b1) Subsystem: Super Micro Computer Inc 5000 Series Chipset Reserved Registers 00:13.0 Host bridge: Intel Corporation 5000 Series Chipset Reserved Registers (rev b1) Subsystem: Super Micro Computer Inc 5000 Series Chipset Reserved Registers 00:15.0 Host bridge: Intel Corporation 5000 Series Chipset FBD Registers (rev b1) Subsystem: Super Micro Computer Inc 5000 Series Chipset FBD Registers 00:16.0 Host bridge: Intel Corporation 5000 Series Chipset FBD Registers (rev b1) Subsystem: Super Micro Computer Inc 5000 Series Chipset FBD Registers 00:1c.0 PCI bridge: Intel Corporation 631xESB/632xESB/3100 Chipset PCI Express Root Port 1 (rev 09) Kernel driver in use: pcieport Kernel modules: shpchp 00:1d.0 USB controller: Intel Corporation 631xESB/632xESB/3100 Chipset UHCI USB Controller #1 (rev 09) Subsystem: Super Micro Computer Inc 631xESB/632xESB/3100 Chipset UHCI USB Controller Kernel driver in use: uhci_hcd Kernel modules: uhci_hcd 00:1d.1 USB controller: Intel Corporation 631xESB/632xESB/3100 Chipset UHCI USB Controller #2 (rev 09) Subsystem: Super Micro Computer Inc 631xESB/632xESB/3100 Chipset UHCI USB Controller Kernel driver in use: uhci_hcd Kernel modules: uhci_hcd 00:1d.2 USB controller: Intel Corporation 631xESB/632xESB/3100 Chipset UHCI USB Controller #3 (rev 09) Subsystem: Super Micro Computer Inc 631xESB/632xESB/3100 Chipset UHCI USB Controller Kernel driver in use: uhci_hcd Kernel modules: uhci_hcd 00:1d.3 USB controller: Intel Corporation 631xESB/632xESB/3100 Chipset UHCI USB Controller #4 (rev 09) Subsystem: Super Micro Computer Inc 631xESB/632xESB/3100 Chipset UHCI USB Controller Kernel driver in use: uhci_hcd Kernel modules: uhci_hcd 00:1d.7 USB controller: Intel Corporation 631xESB/632xESB/3100 Chipset EHCI USB2 Controller (rev 09) Subsystem: Super Micro Computer Inc 631xESB/632xESB/3100 Chipset EHCI USB2 Controller Kernel driver in use: ehci-pci Kernel modules: ehci_pci 00:1e.0 PCI bridge: Intel Corporation 82801 PCI Bridge (rev d9) 00:1f.0 ISA bridge: Intel Corporation 631xESB/632xESB/3100 Chipset LPC Interface Controller (rev 09) Subsystem: Super Micro Computer Inc 631xESB/632xESB/3100 Chipset LPC Interface Controller Kernel driver in use: lpc_ich Kernel modules: intel_rng, lpc_ich 00:1f.2 IDE interface: Intel Corporation 631xESB/632xESB/3100 Chipset SATA IDE Controller (rev 09) Subsystem: Super Micro Computer Inc 631xESB/632xESB/3100 Chipset SATA IDE Controller Kernel driver in use: ata_piix Kernel modules: ata_piix, ata_generic 00:1f.3 SMBus: Intel Corporation 631xESB/632xESB/3100 Chipset SMBus Controller (rev 09) Subsystem: Super Micro Computer Inc 631xESB/632xESB/3100 Chipset SMBus Controller Kernel driver in use: i801_smbus Kernel modules: i2c_i801 01:00.0 PCI bridge: Intel Corporation 6311ESB/6321ESB PCI Express Upstream Port (rev 01) Kernel driver in use: pcieport Kernel modules: shpchp 01:00.3 PCI bridge: Intel Corporation 6311ESB/6321ESB PCI Express to PCI-X Bridge (rev 01) Kernel modules: shpchp 02:00.0 PCI bridge: Intel Corporation 6311ESB/6321ESB PCI Express Downstream Port E1 (rev 01) Kernel driver in use: pcieport Kernel modules: shpchp 02:02.0 PCI bridge: Intel Corporation 6311ESB/6321ESB PCI Express Downstream Port E3 (rev 01) Kernel driver in use: pcieport Kernel modules: shpchp 04:00.0 Ethernet controller: Intel Corporation 80003ES2LAN Gigabit Ethernet Controller (Copper) (rev 01) Subsystem: Super Micro Computer Inc Motherboard Kernel driver in use: e1000e Kernel modules: e1000e 04:00.1 Ethernet controller: Intel Corporation 80003ES2LAN Gigabit Ethernet Controller (Copper) (rev 01) Subsystem: Super Micro Computer Inc Motherboard Kernel driver in use: e1000e Kernel modules: e1000e 06:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller (rev 06) Subsystem: TP-LINK Technologies Co., Ltd. TG-3468 Gigabit PCI Express Network Adapter Kernel driver in use: r8169 Kernel modules: r8169 07:00.0 Ethernet controller: Intel Corporation I350 Gigabit Network Connection (rev 01) Subsystem: Intel Corporation Ethernet Server Adapter I350-T2 Kernel driver in use: igb Kernel modules: igb 07:00.1 Ethernet controller: Intel Corporation I350 Gigabit Network Connection (rev 01) Subsystem: Intel Corporation Ethernet Server Adapter I350-T2 Kernel driver in use: igb Kernel modules: igb 08:00.0 PCI bridge: Intel Corporation 6702PXH PCI Express-to-PCI Bridge A (rev 09) Kernel modules: shpchp 09:02.0 RAID bus controller: Adaptec AIC-9410W SAS (Razor ASIC RAID) (rev 09) Subsystem: Super Micro Computer Inc AIC-9410W SAS (Razor ASIC RAID) Kernel modules: aic94xx 0a:01.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] ES1000 (rev 02) Subsystem: Super Micro Computer Inc ES1000 Kernel driver in use: radeon Kernel modules: radeonfb, radeon

tnega
() автор топика
Ответ на: комментарий от tnega

Ring parameters for eth1: Pre-set maximums: RX: 4096 RX Mini: 0 RX Jumbo: 0 TX: 4096 Current hardware settings: RX: 256 RX Mini: 0 RX Jumbo: 0 TX: 256

Features for eth1: rx-checksumming: on tx-checksumming: on tx-checksum-ipv4: on tx-checksum-ip-generic: off [fixed] tx-checksum-ipv6: on tx-checksum-fcoe-crc: off [fixed] tx-checksum-sctp: on scatter-gather: on tx-scatter-gather: on tx-scatter-gather-fraglist: off [fixed] tcp-segmentation-offload: on tx-tcp-segmentation: on tx-tcp-ecn-segmentation: off [fixed] tx-tcp6-segmentation: on udp-fragmentation-offload: off [fixed] generic-segmentation-offload: on generic-receive-offload: on large-receive-offload: off [fixed] rx-vlan-offload: on tx-vlan-offload: on ntuple-filters: off [fixed] receive-hashing: on highdma: on [fixed] rx-vlan-filter: on [fixed] vlan-challenged: off [fixed] tx-lockless: off [fixed] netns-local: off [fixed] tx-gso-robust: off [fixed] tx-fcoe-segmentation: off [fixed] tx-gre-segmentation: off [fixed] tx-ipip-segmentation: off [fixed] tx-sit-segmentation: off [fixed] tx-udp_tnl-segmentation: off [fixed] tx-mpls-segmentation: off [fixed] fcoe-mtu: off [fixed] tx-nocache-copy: off loopback: off [fixed] rx-fcs: off [fixed] rx-all: off tx-vlan-stag-hw-insert: off [fixed] rx-vlan-stag-hw-parse: off [fixed] rx-vlan-stag-filter: off [fixed] l2-fwd-offload: off [fixed] busy-poll: off [fixed]

На ядре стоит сейчас DGS-3100-24TG

tnega
() автор топика
Ответ на: комментарий от Pinkbyte

Я понимаю, что до хорошего тюнинга нам далеко, если не сложно - укажите правильную дорогу.

tnega
() автор топика
Ответ на: комментарий от tnega

Не в обиду, но такую портянку очень тяжело читать. Переносы все пролюблены как видишь, а там как минимум в /proc/interrupts таблица - из-за чего понять можно примерно нихрена. Пожалуйста, оберни её куски в тег [code][/code], подробности можешь прочесть тут(эта ссылка есть внизу страницы постинга комментария/темы)

Pinkbyte ★★★★★
()
Ответ на: комментарий от Pinkbyte

Сейчас все сделаю.

  69:         11          0          0          0          0          0          1          1   PCI-MSI-edge      eth1
  70: 1490743821        372        375        344        383        396        384        404   PCI-MSI-edge      eth1-TxRx-0
  71:  889048139        261        266        273        270        258        242        247   PCI-MSI-edge      eth1-TxRx-1
  72:        268  877778927        273        224        222        230        230        250   PCI-MSI-edge      eth1-TxRx-2
  73:        245  872807721        263        224        234        229        244        236   PCI-MSI-edge      eth1-TxRx-3
  74:        277        276  886932298        269        247        291        262        275   PCI-MSI-edge      eth1-TxRx-4
  75:        214        250  875860973        236        265        230        280        260   PCI-MSI-edge      eth1-TxRx-5
  76:        318        300        307  933808383        311        331        322        319   PCI-MSI-edge      eth1-TxRx-6
  77:        262        226        225  907543668        231        223        217        244   PCI-MSI-edge      eth1-TxRx-7
  78:          1          0          0          0          1          0          1          0   PCI-MSI-edge      eth0
  79: 1206340383        532        506        521        499        498        488        475   PCI-MSI-edge      eth0-TxRx-0
  80:  876436231        184        191        192        187        207        183        176   PCI-MSI-edge      eth0-TxRx-1
  81:        230  860385396        191        230        243        214        228        235   PCI-MSI-edge      eth0-TxRx-2
  82:        174  873618096        158        173        152        186        174        163   PCI-MSI-edge      eth0-TxRx-3
  83:        200        207  849324851        219        206        223        238        233   PCI-MSI-edge      eth0-TxRx-4
  84:        198        210  850654569        189        205        202        219        185   PCI-MSI-edge      eth0-TxRx-5
  85:        307        300        308  892244772        328        298        288        315   PCI-MSI-edge      eth0-TxRx-6
  86:        196        173        176  859536054        194        171        177        173   PCI-MSI-edge      eth0-TxRx-7
tnega
() автор топика
Ответ на: комментарий от Pinkbyte 
Architecture:          i686
CPU op-mode(s):        32-bit, 64-bit
Byte Order:            Little Endian
CPU(s):                8
On-line CPU(s) list:   0-7
Thread(s) per core:    1
Core(s) per socket:    4
Socket(s):             2
Vendor ID:             GenuineIntel
CPU family:            6
Model:                 23
Model name:            Intel(R) Xeon(R) CPU           E5440  @ 2.83GHz
Stepping:              6
CPU MHz:               2833.499
BogoMIPS:              5667.32
Virtualization:        VT-x
L1d cache:             32K
L1i cache:             32K
L2 cache:              6144K


00:00.0 Host bridge: Intel Corporation 5000P Chipset Memory Controller Hub (rev b1)
        Subsystem: Super Micro Computer Inc 5000P Chipset Memory Controller Hub
00:02.0 PCI bridge: Intel Corporation 5000 Series Chipset PCI Express x8 Port 2-3 (rev b1)
        Kernel driver in use: pcieport
        Kernel modules: shpchp
00:04.0 PCI bridge: Intel Corporation 5000 Series Chipset PCI Express x8 Port 4-5 (rev b1)
        Kernel driver in use: pcieport
        Kernel modules: shpchp
00:06.0 PCI bridge: Intel Corporation 5000 Series Chipset PCI Express x8 Port 6-7 (rev b1)
        Kernel driver in use: pcieport
        Kernel modules: shpchp
00:08.0 System peripheral: Intel Corporation 5000 Series Chipset DMA Engine (rev b1)
        Subsystem: Super Micro Computer Inc 5000 Series Chipset DMA Engine
        Kernel driver in use: ioatdma
        Kernel modules: ioatdma
00:10.0 Host bridge: Intel Corporation 5000 Series Chipset FSB Registers (rev b1)
        Subsystem: Super Micro Computer Inc 5000 Series Chipset FSB Registers
        Kernel driver in use: i5000_edac
        Kernel modules: i5k_amb, i5000_edac
00:10.1 Host bridge: Intel Corporation 5000 Series Chipset FSB Registers (rev b1)
        Subsystem: Super Micro Computer Inc 5000 Series Chipset FSB Registers
        Kernel modules: i5k_amb, i5000_edac
00:10.2 Host bridge: Intel Corporation 5000 Series Chipset FSB Registers (rev b1)
        Subsystem: Super Micro Computer Inc 5000 Series Chipset FSB Registers
        Kernel modules: i5k_amb, i5000_edac
00:11.0 Host bridge: Intel Corporation 5000 Series Chipset Reserved Registers (rev b1)
        Subsystem: Super Micro Computer Inc 5000 Series Chipset Reserved Registers
00:13.0 Host bridge: Intel Corporation 5000 Series Chipset Reserved Registers (rev b1)
        Subsystem: Super Micro Computer Inc 5000 Series Chipset Reserved Registers
00:15.0 Host bridge: Intel Corporation 5000 Series Chipset FBD Registers (rev b1)
        Subsystem: Super Micro Computer Inc 5000 Series Chipset FBD Registers
00:16.0 Host bridge: Intel Corporation 5000 Series Chipset FBD Registers (rev b1)
        Subsystem: Super Micro Computer Inc 5000 Series Chipset FBD Registers
00:1c.0 PCI bridge: Intel Corporation 631xESB/632xESB/3100 Chipset PCI Express Root Port 1 (rev 09)
        Kernel driver in use: pcieport
        Kernel modules: shpchp
00:1d.0 USB controller: Intel Corporation 631xESB/632xESB/3100 Chipset UHCI USB Controller #1 (rev 09)
        Subsystem: Super Micro Computer Inc 631xESB/632xESB/3100 Chipset UHCI USB Controller
        Kernel driver in use: uhci_hcd
        Kernel modules: uhci_hcd
00:1d.1 USB controller: Intel Corporation 631xESB/632xESB/3100 Chipset UHCI USB Controller #2 (rev 09)
        Subsystem: Super Micro Computer Inc 631xESB/632xESB/3100 Chipset UHCI USB Controller
        Kernel driver in use: uhci_hcd
        Kernel modules: uhci_hcd
00:1d.2 USB controller: Intel Corporation 631xESB/632xESB/3100 Chipset UHCI USB Controller #3 (rev 09)
        Subsystem: Super Micro Computer Inc 631xESB/632xESB/3100 Chipset UHCI USB Controller
        Kernel driver in use: uhci_hcd
        Kernel modules: uhci_hcd
00:1d.3 USB controller: Intel Corporation 631xESB/632xESB/3100 Chipset UHCI USB Controller #4 (rev 09)
        Subsystem: Super Micro Computer Inc 631xESB/632xESB/3100 Chipset UHCI USB Controller
        Kernel driver in use: uhci_hcd
        Kernel modules: uhci_hcd
00:1d.7 USB controller: Intel Corporation 631xESB/632xESB/3100 Chipset EHCI USB2 Controller (rev 09)
        Subsystem: Super Micro Computer Inc 631xESB/632xESB/3100 Chipset EHCI USB2 Controller
        Kernel driver in use: ehci-pci
        Kernel modules: ehci_pci
00:1e.0 PCI bridge: Intel Corporation 82801 PCI Bridge (rev d9)
00:1f.0 ISA bridge: Intel Corporation 631xESB/632xESB/3100 Chipset LPC Interface Controller (rev 09)
        Subsystem: Super Micro Computer Inc 631xESB/632xESB/3100 Chipset LPC Interface Controller
        Kernel driver in use: lpc_ich
        Kernel modules: intel_rng, lpc_ich
00:1f.2 IDE interface: Intel Corporation 631xESB/632xESB/3100 Chipset SATA IDE Controller (rev 09)
        Subsystem: Super Micro Computer Inc 631xESB/632xESB/3100 Chipset SATA IDE Controller
        Kernel driver in use: ata_piix
        Kernel modules: ata_piix, ata_generic
00:1f.3 SMBus: Intel Corporation 631xESB/632xESB/3100 Chipset SMBus Controller (rev 09)
        Subsystem: Super Micro Computer Inc 631xESB/632xESB/3100 Chipset SMBus Controller
        Kernel driver in use: i801_smbus
        Kernel modules: i2c_i801
01:00.0 PCI bridge: Intel Corporation 6311ESB/6321ESB PCI Express Upstream Port (rev 01)
        Kernel driver in use: pcieport
        Kernel modules: shpchp
01:00.3 PCI bridge: Intel Corporation 6311ESB/6321ESB PCI Express to PCI-X Bridge (rev 01)
        Kernel modules: shpchp
02:00.0 PCI bridge: Intel Corporation 6311ESB/6321ESB PCI Express Downstream Port E1 (rev 01)
        Kernel driver in use: pcieport
        Kernel modules: shpchp
02:02.0 PCI bridge: Intel Corporation 6311ESB/6321ESB PCI Express Downstream Port E3 (rev 01)
        Kernel driver in use: pcieport
        Kernel modules: shpchp
04:00.0 Ethernet controller: Intel Corporation 80003ES2LAN Gigabit Ethernet Controller (Copper) (rev 01)
        Subsystem: Super Micro Computer Inc Motherboard
        Kernel driver in use: e1000e
        Kernel modules: e1000e
04:00.1 Ethernet controller: Intel Corporation 80003ES2LAN Gigabit Ethernet Controller (Copper) (rev 01)
        Subsystem: Super Micro Computer Inc Motherboard
        Kernel driver in use: e1000e
        Kernel modules: e1000e
06:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller (rev 06)
        Subsystem: TP-LINK Technologies Co., Ltd. TG-3468 Gigabit PCI Express Network Adapter
        Kernel driver in use: r8169
        Kernel modules: r8169
07:00.0 Ethernet controller: Intel Corporation I350 Gigabit Network Connection (rev 01)
        Subsystem: Intel Corporation Ethernet Server Adapter I350-T2
        Kernel driver in use: igb
        Kernel modules: igb
07:00.1 Ethernet controller: Intel Corporation I350 Gigabit Network Connection (rev 01)
        Subsystem: Intel Corporation Ethernet Server Adapter I350-T2
        Kernel driver in use: igb
        Kernel modules: igb
08:00.0 PCI bridge: Intel Corporation 6702PXH PCI Express-to-PCI Bridge A (rev 09)
        Kernel modules: shpchp
09:02.0 RAID bus controller: Adaptec AIC-9410W SAS (Razor ASIC RAID) (rev 09)
        Subsystem: Super Micro Computer Inc AIC-9410W SAS (Razor ASIC RAID)
        Kernel modules: aic94xx
0a:01.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] ES1000 (rev 02)
        Subsystem: Super Micro Computer Inc ES1000
        Kernel driver in use: radeon
        Kernel modules: radeonfb, radeon
tnega
() автор топика
Ответ на: комментарий от Pinkbyte 
Ring parameters for eth1:
Pre-set maximums:
RX:             4096
RX Mini:        0
RX Jumbo:       0
TX:             4096
Current hardware settings:
RX:             256
RX Mini:        0
RX Jumbo:       0
TX:             256


Features for eth1:
rx-checksumming: on
tx-checksumming: on
        tx-checksum-ipv4: on
        tx-checksum-ip-generic: off [fixed]
        tx-checksum-ipv6: on
        tx-checksum-fcoe-crc: off [fixed]
        tx-checksum-sctp: on
scatter-gather: on
        tx-scatter-gather: on
        tx-scatter-gather-fraglist: off [fixed]
tcp-segmentation-offload: on
        tx-tcp-segmentation: on
        tx-tcp-ecn-segmentation: off [fixed]
        tx-tcp6-segmentation: on
udp-fragmentation-offload: off [fixed]
generic-segmentation-offload: on
generic-receive-offload: on
large-receive-offload: off [fixed]
rx-vlan-offload: on
tx-vlan-offload: on
ntuple-filters: off [fixed]
receive-hashing: on
highdma: on [fixed]
rx-vlan-filter: on [fixed]
vlan-challenged: off [fixed]
tx-lockless: off [fixed]
netns-local: off [fixed]
tx-gso-robust: off [fixed]
tx-fcoe-segmentation: off [fixed]
tx-gre-segmentation: off [fixed]
tx-ipip-segmentation: off [fixed]
tx-sit-segmentation: off [fixed]
tx-udp_tnl-segmentation: off [fixed]
tx-mpls-segmentation: off [fixed]
fcoe-mtu: off [fixed]
tx-nocache-copy: off
loopback: off [fixed]
rx-fcs: off [fixed]
rx-all: off
tx-vlan-stag-hw-insert: off [fixed]
rx-vlan-stag-hw-parse: off [fixed]
rx-vlan-stag-filter: off [fixed]
l2-fwd-offload: off [fixed]
busy-poll: off [fixed]

На ядре стоит сейчас DGS-3100-24TG

tnega
() автор топика
Ответ на: комментарий от tnega

Сетевая карта двухпортовая как Вы наверное уже поняли.

Eth0 - аплинк, eth1 - наша локалка.

tnega
() автор топика
Ответ на: комментарий от tnega

Из-того что вижу уже сейчас - я бы поднял параметры ring на сетевухе(это из выхлопа ethtool). Далее - с очередями конфиг не оптимальный, но крутить его имеет смысл только если первые 4 ядра уходят в потолок(по количеству прерываний в /proc/interrupts видно что задействованы только первые 4 ядра, учитывая что сетевух две - я бы раскидал на каждую по 4 ядра, но это лирика).

Дай-ка еще на всякий случай выхлоп:

cat /sys/class/net/eth0/queues/rx-*/rps_cpus
cat /sys/class/net/eth1/queues/rx-*/rps_cpus

На ядре стоит сейчас DGS-3100-24TG

Ну ядро это с большой натяжкой конечно, но у самого есть такие сети, поэтому понимаю. Для твоей задачи пойдет, не 11**/12** - уже хорошо :-) На всякий случай прошивка надеюсь последняя с форума(хотя, как уже говорил, сильно сомневаюсь что проблема в коммутации, а в PPPoE-кадры он лезть не должен - там конечно были у D-Linkа какие-то настройки, но они никак не зависят от того отдаешь ли ты трафик с тегом или без)?

Ну и наконец: 

Architecture: i686

Чем обусловлен выбор 32-битной версии?

Pinkbyte ★★★★★
()
Ответ на: комментарий от Pinkbyte 
root@gate:~# cat /sys/class/net/eth0/queues/rx-*/rps_cpus
00000000
00000000
00000000
00000000
00000000
00000000
00000000
00000000
root@gate:~# cat /sys/class/net/eth1/queues/rx-*/rps_cpus
00000000
00000000
00000000
00000000
00000000
00000000
00000000
00000000

По поводу коммутатора - согласен, но я ничего не нашел где много SFP у делинка, сдавали узел по упрощенке, эта модель была с большим кол-вом SFP и не было портов 10G.

Да, прошивка последняя с форума.

i686 - по поводу этого даже стыдно как--то отвечать :-) ставить AMD64 ?

tnega
() автор топика
Ответ на: комментарий от tnega

ставить AMD64 ?

Ну если это свежая система а не дремучий legacy с волосатых годов(со вздохом смотрю на 3 своих i686-системы, из которых 2 виртуалки - до которых руки не доходят, а одна стоит у чорта на рогах и туда просто лень съездить пока всё работает) - я бы переставил. Если есть куда пользователей сгрузить конечно, всё-таки 500Мбит/сек - это не шутки.

Просто я реально пару раз натыкался на платформозависимые баги в драйверах сетевух, а 32-битный линукс в качестве серверной платформы явно теряет популярность по понятным причинам. И если не готов сидеть с perf в зубах и выковыривать кто у тебя там самое слабое звено - то лучше сразу перекатиться на более поддерживаемую платформу.

Попробуй еще по приколу отключить rx-vlan-offload и tx-vlan-offload(если драйвер позволит конечно, бывает и такое) у сетевухи с VLAN-ами и посмотри. Если поможет(при этом очевидно возрастет нагрузка на проц) - поздравляю, ты напоролся на баг в драйвере(платформозависимый или нет - тут хз, надо будет копать дальше).

Pinkbyte ★★★★★
()
Ответ на: комментарий от Pinkbyte 
ethtool -K eth1 rxvlan off
ethtool -K eth1 txvlan off

Сделал и пропала связь с VLANами.

ethtool -K eth1 rxvlan on
ethtool -K eth1 txvlan on

- появилась :-)

Система свежая, можно сказать стерильная, ничего лишнего.

Увеличил RING, проверяю.

Буду переустанавливать, есть резервный сервер.

tnega
() автор топика
Ответ на: комментарий от tnega

Сделал и пропала связь с VLANами.

Возможно надо пересоздавать vlan-устройства после отключения offload-а. Или в драйвере забыли проставить vlan offload как всегда включенный(если его выключение всегда ломает обработку vlan-ов, независимо от того когда они были созданы)

Pinkbyte ★★★★★
()
Ответ на: комментарий от voltmod

Каким образом нам их пораскидать? eth0 на 4 ядра одного процессора и eth1 на другие четыре ядра другого?

tnega
() автор топика
Ответ на: комментарий от tnega

Заметил еще одну особенность, в VLAN1 PPPoE клиенты поднимаются с MTU 1492, как и указано в настройках PPPoE сервера.

Когда клиент в какой-то VLANe, где поднят PPPoE сервер MTU клиента 1480, это нормально?

Протестировав сутки и сделал то, что посоветовали - результата не принесло. С трудом выжимается 40 мегабит. По исходящему побольше, в районе 60 мегабит.

tnega
() автор топика
Ответ на: комментарий от tnega

И самое интересное, на коммутаторе ядра DGS-3100-24TG - делаем один из портов в каком то любом вилане - UNTAG - скорость на высоте, как только добавляем коммутатор, например DES-3028, делаем тэгирование на аплинке и разтегирование на абонентском порту - проблема появляется.

tnega
() автор топика
Ответ на: комментарий от tnega

ЕМНИП на клиенте должно быть 1472.
Но ты можешь и руками подобрать значение, при котором не фрагментируется ICMP.

Deleted
()
Ответ на: комментарий от Deleted

Друзья, выручайте!

Похоже где-то действительно собака зарыта, в фрагментации. Хотя я могу ошибаться.

Игрался с MTU - на VLAN интерфейсах вида - ifconfif vlan33 mtu 1480 - результата ноль, на MTU меньше 1450 начинает понижаться скорость.

PPPoE сервер не использовали, выдавали айпишник напрямую, и серый так же пробовали.

Самое интересное, что проблемы нет когда мы цепляемся к главному коммутатору DGS-3100-24TG, а вот когда к этому мы еще один такой же прибавляем или другой коммутатор, тогда уже проблема появляется.

На коммутаторах ничего не включено, кроме VLAN Trunking, Traffic Segmentation и Лупбэк детектед.

Еще раз напомню, что в VLAN1 - проблем нет никаких, проблема появляется только в других Виланах.

tnega
() автор топика
Ответ на: комментарий от tnega

Случайно обнаружил проблему такую же на статической маршрутизации:

Выдаем абоненту белый статический ИП используя ip route + proxy arp

ip route add 46.46.46.47 dev eth1

на интерфейсе провайдера включен PROXY ARP:

echo 1 > /proc/sys/net/ipv4/conf/eth0/proxy_arp

И разрешающее правило в Iptables:

iptables -I FORWARD 1 -i eth1 -s 46.46.46.47 -j ACCEPT
iptables -t nat -A PREROUTING -s 46.46.46.254 -j DNAT --to-destination 46.46.46.47
iptables -A FORWARD -d 46.46.46.47 -j ACCEPT

Скорость так же обрезается. держится в районе 30-40 мегабит.

tnega
() автор топика
Ответ на: комментарий от tnega

iptables -t nat -A PREROUTING -s 46.46.46.254 -j DNAT --to-destination 46.46.46.47

Это еще что за чудоюдо?
Пальцем. У вас случайно все не утыкается в conntack ? Загрузку роутера смотрели?

anc ★★★★★
()
Ответ на: комментарий от anc

Буду откровенен - мне стыдно, можно с Вами как-то выйти на связь? Возможно Вы поможете нам настроить наш маршрутизатор так как нужно.

Все будет оплачено.

Как нагрузку посмотреть? CPU ? не нагружен. Нагрузка в пике при 600 мегабит трафика - 40-50-60 %.

Всё познавали сами, читая и методом тыка.

Но понимаем, что могли сделать все не так как нужно.

tnega
() автор топика
Ответ на: комментарий от anc 
iptables -t nat -A PREROUTING -s 46.46.46.254 -j DNAT --to-destination 46.46.46.47
iptables -A FORWARD -d 46.46.46.47 -j ACCEPT

Этими двумя командами мы разрешаем хождению трафика из вне к абоненту. (аля белый ип)

Приведите пожалуйста другой способ.

tnega
() автор топика
Ответ на: комментарий от anc

по поводу conntack: если Вы об этом:

net.ipv4.netfilter.ip_conntrack_max=262144

в sysctl помимо этого есть еще:

net.ipv4.neigh.default.gc_thresh1=20480
net.ipv4.neigh.default.gc_thresh2=40960
net.ipv4.neigh.default.gc_thresh3=81920

net.netfilter.nf_conntrack_generic_timeout = 120

net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.udp_mem = 8388608 12582912 16777216
net.ipv4.tcp_rmem = 4096 87380 8388608
net.ipv4.tcp_wmem = 4096 87380 8388608

net.ipv4.tcp_max_orphans = 65536
tnega
() автор топика
Ответ на: комментарий от tnega

iptables -t nat -A PREROUTING -s 46.46.46.254 -j DNAT --to-destination 46.46.46.47

Вот это зачем? Я в упор не понимаю смысла этого dnat. Если у клиента и так белый ip.

Ну и до кучи

iptables -I FORWARD 1 -i eth1 -s 46.46.46.47 -j ACCEPT

очень забавно, -I в одну сторону и -A в другую. Имхо использование -I нужно только при ооочень большой необходимости. Даже если у вас есть в цепочке FORWARD между исходящими и входящими, другие правила, то не проще ли это организовать отдельными цепочками ?

Все это может не иметь отношения к задаче в топике. Но хотя бы этот момент имхо уже «не красивый»

anc ★★★★★
()
Ответ на: комментарий от anc

Да, он белый и единственный у абонента, но если не сделать правило DNAT - трафик не приходит к абоненту извне.

Нам лучше всё заменить на -A ?

Да, действительно это ОФФТОП, но для меня это важная информация. Спасибо за советы.

Прошу Вас подсказывать, что не так, может и основная проблема кроется в этом.

tnega
() автор топика
Ответ на: комментарий от tnega

например DES-3028, делаем тэгирование на аплинке и разтегирование на абонентском порту - проблема появляется.

Может в нём и есть проблема? Попробуйте для теста что-нибудь получше DES-3028.

mky ★★★★★
()
Ответ на: комментарий от mky

Нет, пробовали и в связке:

DGS3100-24TG -> DGS3100-24TG -> DGS3100-24TG ->

тоже самое.

tnega
() автор топика
Ответ на: комментарий от tnega

Да, он белый и единственный у абонента, но если не сделать правило DNAT - трафик не приходит к абоненту извне.

Простите, вы абоненту говорите «чувак у тебя белый ip 46.46.46.47» но при этом достучаться извне до него можно только через «46.46.46.254». wtf? или я не понимаю всю вашу «хитро сделанную» схему.

anc ★★★★★
()
Ответ на: комментарий от tnega

Нам лучше всё заменить на -A ?

<Внимание! сейчас будут маты> Да хоть на -ЮХ. Черт возьми, если даже не понимаете что делаете, какой вы к люлям пров ? Что так тяжело прочитать теорию? Или минимум iptables tutorial ?
ЗЫ Вот честно честно, я работал с мелким провом в конце 90-х начало 2к. И биллинг тогда наколенный построил на основе ipchains. Но я знал что делаю. «Математика» кстати «за мелкой погрешностью» сходилась в части «сколько через трубу пролетело» и «сколько юзверы потребили».

anc ★★★★★
()
Ответ на: комментарий от anc

Эти адреса нам выдает вышестоящий, у нас аутсорминг. Шлюзом к этому пулу выступает 46.46.46.254. Это ип вышестоящего, все остальные ип адреса в данной сетке /24 наши. Грубо говоря 253 адреса.

tnega
() автор топика
Ответ на: комментарий от anc

Не будьте так принципиальны и относитесь к этому поспокойнее. Вы лучше бы подсказали конкретный пример, нежели унижать людей.

Всё это училось самостоятельно на коленке и всё это работало. Как смогли так и познали. Методом тыка так скажем.

tnega
() автор топика
Ответ на: комментарий от tnega

Маршрутизация у нас статическая, BGP не используем, AS своей нет.

tnega
() автор топика
Ответ на: комментарий от tnega

Эти адреса нам выдает вышестоящий, у нас аутсорминг. Шлюзом к этому пулу выступает 46.46.46.254. Это ип вышестоящего, все остальные ип адреса в данной сетке /24 наши. Грубо говоря 253 адреса.

Тогда тем более не понятно, зачем этот dnat?
iptables -t nat -A PREROUTING -s 46.46.46.254 -j DNAT --to-destination 46.46.46.47

anc ★★★★★
()
Ответ на: комментарий от tnega

Не будьте так принципиальны и относитесь к этому поспокойнее. Вы лучше бы подсказали конкретный пример.

Пример чего? Я не знаю что и как у вас сделано. Предложил лишь «по культурнее» все оформить. Моя цитата

очень забавно, -I в одну сторону и -A в другую. Имхо использование -I нужно только при ооочень большой необходимости. Даже если у вас есть в цепочке FORWARD между исходящими и входящими, другие правила, то не проще ли это организовать отдельными цепочками ?

Поясню -I в автоматизированном варианте, очень часто приводит к факапам, когда долго чешем репу в виде какого юха я добавил правило и оно не робит. -I в основном используется при отладке ситуаций, т.е. мы не трогаем рабочие правила, но нужно быть уверенным что наше правило сработает.
Использование отдельной цепочки сделает вашу «простыню» более читабельной и проще редактируемой в случае необходимости.
И как дополнение, при больших обьемах адресов в однотипных правилах лучше использовать ipset.

anc ★★★★★
()
Ответ на: комментарий от anc

Вот за это спасибо. Смотрю в сторону IPSET.

Объясните мне пожалуйста, как открыть абонентам трафик извне? Не использую DNAT.

Да, абонент получает свой единственный статический ИП адрес, но трафик из вне до него блокируется, и только этими командами нам получилось трафик извне открыть для абонента.

tnega
() автор топика
Ответ на: комментарий от tnega

Объясните мне пожалуйста, как открыть абонентам трафик извне? Не использую DNAT.

Для сети с белыми ip которые роутяться очевидноже, не использовать dnat.

Да, абонент получает свой единственный статический ИП адрес, но трафик из вне до него блокируется, и только этими командами нам получилось трафик извне открыть для абонента.

Вот этой ?
iptables -t nat -A PREROUTING -s 46.46.46.254 -j DNAT --to-destination 46.46.46.47
Вы наверное шутите, если и для каждого такое прописываете.

anc ★★★★★
()
Последнее исправление: anc (всего исправлений: 1)
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
 ← 1 2
← Клонирование domu в xen
Admin
Группы пользователей debian, polkit и монтирование дисков. →