LINUX.ORG.RU
Форум — Admin  

Проблема с NIC?


0

1

Есть два одинаковых сервера. CentOS 6, одно и тоже ядро и nic драйвер. 

kernel 2.6.32-042stab079.6

# ethtool -i eth0
driver: r8168
version: 8.036.00-NAPI
firmware-version:
bus-info: 0000:02:00.0
supports-statistics: yes
supports-test: no
supports-eeprom-access: no
supports-register-dump: yes
supports-priv-flags: no

MTR http://poiuty.ru/img/1de4ab5bf8fe08ac5087d819f95f.png
Справа - гуд. Слева - сильно скачет Wrst. Чем это можно обьяснить? Проблема в nic?

★
← Помогите разобратся с java приложением
Nginx не дружит с Perl →

А карточки точно одинаковые? А то у одного и того же чипа бывают разные ревизии. И, так как один ревизии работают хорошо с ядерным драйвром, а другие плохо, то можно считать, что это разные чипы. Что там lspci про эти сетёвки пишет?

P.S. А ваш эмулятор терминала не позволяет вырезать текст, я ваш скриншот вобще разбираю с трудом.

mky ★★★★★
()
Ответ на: комментарий от mky

А ваш эмулятор терминала не позволяет вырезать текст

PuTTY все позволяет)

devl547 ★★★★★
()
Ответ на: комментарий от mky

На скриншот - чтобы наглядно) Там вроде все отлично видно.
Карточки одинаковые

# lspci | grep Ethernet
02:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168B PCI Express Gigabit Ethernet controller (rev 06)

# lspci | grep Ethernet
02:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168B PCI Express Gigabit Ethernet controller (rev 06)
poiuty ★
() автор топика

А проблема точно не выше? Есть возможность хотя бы переткнуть кабели в патч-панели?

thesis ★★★★★
()
Ответ на: комментарий от thesis

*решение ;)
Можно попросить в ДЦ, но как-то слабо верится, что оно поможет. На intel nic - таких проблем на 10+ серваках ни разу не было. А на realtek nic - как повезет.

poiuty ★
() автор топика
Ответ на: комментарий от mky 
                            My traceroute  [v0.75]
server (::)                                   Tue Sep  3 22:13:31 2013
Keys:  Help   Display mode   Restart statistics   Order of fields   quit
                                       Packets               Pings
 Host                                Loss%   Snt   Last   Avg  Best  Wrst StDev
 1. 2a01:4f8::a:19:27                 0.0%  9717    1.3   0.9   0.6  22.5   1.8
 2. hos-tr8.juniper4.rz19.hetzner.de  0.0%  9717    0.7  10.3   0.2 265.5  20.5
 3. core22.hetzner.de                 0.0%  9717    0.7   0.3   0.2  17.3   0.7
 4. core1.hetzner.de                  0.0%  9717    5.5   5.1   4.8  30.8   1.2
 5. core4.hetzner.de                  0.0%  9717    5.6   5.1   4.9  25.7   0.9
 6. juniper4.ffm.hetzner.de           0.0%  9717    5.6   5.1   4.9  14.7   0.7
 7. de-cix10.net.google.com           0.0%  9717    6.6   7.0   5.5  91.7   7.1
 8. 2001:4860::1:0:4ca2               0.0%  9717    6.9   6.8   5.9 114.6  13.0
 9. 2001:4860::8:0:5039               0.0%  9717    7.4   6.7   5.9  64.6   7.6
10. 2001:4860::8:0:2e9c               0.0%  9717   15.4  14.7  14.1  83.8   3.6
11. 2001:4860::8:0:4fc8               0.0%  9717   32.0  31.6  31.1  51.4   1.4
12. 2001:4860::8:0:26e6               0.0%  9717   42.2  40.4  39.5  85.9   3.0
13. 2001:4860::2:0:2ab0               0.0%  9717   40.9  40.6  39.7  67.3   2.2
14. ???
15. lb-in-x8b.1e100.net               0.0%  9716   41.3  40.7  40.0  45.4   0.6

Wrst - огромный


                          My traceroute  [v0.75]
server (::)                                 Tue Sep  3 22:22:38 2013
Keys:  Help   Display mode   Restart statistics   Order of fields   quit
                                  Packets               Pings
 Host                           Loss%   Snt   Last   Avg  Best  Wrst StDev
 1. 2a01:4f8:162:240::1          0.1%  1167    4.3  34.2   0.7 37428 1096.
 2. hos-tr6.juniper3.rz16.hetzn  0.0%  1167    0.8 130.8   0.3 37811 2198.
 3. core21.hetzner.de            0.0%  1167    0.7  32.9   0.3 37596 1100.
 4. core22.hetzner.de            0.0%  1167    0.6  32.8   0.4 37321 1092.
 5. core1.hetzner.de             0.0%  1167    5.5  69.6   4.9 37351 1545.
 6. core4.hetzner.de             0.0%  1167    5.6   5.5   4.9  18.2   0.8
 7. juniper4.ffm.hetzner.de      0.0%  1167    5.6  37.7   5.0 37531 1098.
 8. de-cix10.net.google.com      0.0%  1166    6.1  39.6   5.7 37436 1096.
 9. 2001:4860::1:0:4ca3          0.0%  1166    6.9  74.7   6.4 37463 1548.
10. 2001:4860:0:1::6d3           0.0%  1166    7.9   7.4   6.6  18.9   0.8
11. fra07s29-in-x05.1e100.net    0.0%  1166    7.7   7.4   6.4  17.2   0.5
poiuty ★
() автор топика
Ответ на: комментарий от poiuty

Ну по мне это тот минимум действий, после которого можно «сливать» сервер и требовать замены как минимум сетевой. Думаю, одминство ДЦ вполне может на такое пойти.

thesis ★★★★★
()
Последнее исправление: thesis (всего исправлений: 1)
Ответ на: комментарий от thesis

Саппорт ДЦ не может обьяснить поему скачет Wrst. 

We cannot detect
any issue currently from our side in direction to your server, as well as there is
nothing suspicious visible here:

http://cloudmonitor.ca.com/en/ping.php?varghost=5.9.128.11

Я проверил на 10+ серверах, везде ок. Как на realtek nic, так и на intel nic. Попробую скинуть им всю инфу еще раз. Поменять nic они смогут скорее всего только вместе с материнкой. Переплачивать за доп intel nic - нет никакого желания, тем более что это свежий сервак.

poiuty ★
() автор топика
Ответ на: комментарий от thesis

Вот, отлично выглядит Wrst.

                          My traceroute  [v0.75]
server (::)                                 Tue Sep  3 22:40:44 2013
Keys:  Help   Display mode   Restart statistics   Order of fields   quit
                                  Packets               Pings
 Host                           Loss%   Snt   Last   Avg  Best  Wrst StDev
 1. 2a01:4f8:162:240::1          0.0%  2253    3.2  34.5   0.7 37428 1095.
 2. hos-tr6.juniper3.rz16.hetzn  0.0%  2252    7.2 119.3   0.3 37811 2082.
 3. core21.hetzner.de            0.0%  2252    0.7  17.1   0.3 37596 792.2
 4. core22.hetzner.de            0.0%  2252    0.9  33.7   0.3 37321 1111.
 5. core1.hetzner.de             0.0%  2252    6.2  38.4   4.9 37351 1112.
 6. core4.hetzner.de             0.0%  2252    5.5  21.4   4.9 36232 763.4
 7. juniper4.ffm.hetzner.de      0.0%  2252    5.6  37.9   5.0 37531 1096.
 8. de-cix10.net.google.com      0.0%  2252    6.4  39.9   5.7 37436 1096.
 9. 2001:4860::1:0:4ca3          0.0%  2252    7.0  91.5   6.2 37525 1750.
10. 2001:4860:0:1::6d3           0.0%  2252    7.4  23.2   6.5 36162 761.9
11. fra07s29-in-x05.1e100.net    0.0%  2252    7.3  23.3   6.4 36154 761.7
poiuty ★
() автор топика
Ответ на: комментарий от poiuty

С моей точки зрения явной проблемы нет, либо менять сервак, либо забить. В том плане, что на 1000 или около того пакетов приходится один странный, который ходит 37-50 секунд. Для большинства протоколов это потеря пакета, но при таком проценте потерь (0,1) искать проблему как-то сложно. Не понятно, свич или сетёвка творит такое, поэтому

Странно, что цифры близкие, но разные для разных серверов, в одном случае 37 с, в другом 43 с. Может это глюк mtr, с опцией -n результат аналогичный?

Там вроде все отлично видно

Не знаю, у меня сдох 21", сейчас пока мучаюсь на 17" ЭЛТ, поэтому кому как. Попробовать что-ли с телефона ваш скриншот поизучать :-)

mky ★★★★★
()
Ответ на: комментарий от mky

-n аналогично. MTR на всех серверах v0.75. 

                                 My traceroute  [v0.75]
(::)                                              Tue Sep  3 23:39:13 2013
Keys:  Help   Display mode   Restart statistics   Order of fields   quit
                                               Packets               Pings
 Host                                        Loss%   Snt   Last   Avg  Best  Wrst StDev
 1. 2a01:4f8:162:240::1                       0.0%   225    1.6   2.5   0.7  11.7   1.4
 2. 2a01:4f8:0:16:6:0:16:3                    0.0%   225    1.0   2.5   0.3  75.4   8.0
 3. 2a01:4f8:0:3::65                          0.0%   225    0.9 161.1   0.3 36062 2404.
 4. 2a01:4f8:0:3::a2                          0.0%   225    1.0   0.9   0.6   1.1   0.1
 5. 2a01:4f8:0:3::b1                          0.0%   225    5.8 167.3   5.1 36332 2421.
 6. 2a01:4f8:0:3::2                           0.0%   225    5.5   6.0   5.3  27.3   2.1
 7. 2a01:4f8:0:3::e                           0.0%   225    5.9   5.9   5.3  12.7   0.7
 8. 2001:7f8::3b41:0:1                        0.0%   225    7.4   8.7   6.0  96.0  10.0
 9. 2001:4860::1:0:4ca3                       0.0%   224    7.8   7.8   6.5  13.8   1.4
10. 2001:4860:0:1::6d5                        0.0%   224    8.1   8.2   7.0  20.9   1.3
11. 2a00:1450:4001:803::1004                  0.0%   224    7.2   7.2   6.4   9.7   0.4

poiuty ★
() автор топика
Ответ на: комментарий от mky

Кстати, в прошлый раз. Тестил разные ядра. http://poiuty.ru/i-snova-r8169.html

На Ubuntu-1304-raring-64-minimal 3.8.0-19-generic + driver: r8169
Было так http://poiuty.ru/wp-content/uploads/2013/05/lastmtr.png

Очень много гемора с realtek nic. То kernel panic, то link down/ up, то теперь с пакетами еще.

poiuty ★
() автор топика
Ответ на: комментарий от mky

Еще потестил, с другого хоста MTR до этого. Это сетевая карта или драйвер 100%
Ради интереса врублю в rescue mode + на попробую на разных ядрах и r8169.

                                          My traceroute  [v0.75]
(0.0.0.0)                                                            Tue Sep  3 23:56:03 2013
Keys:  Help   Display mode   Restart statistics   Order of fields   quit
                                                                  Packets               Pings
 Host                                                           Loss%   Snt   Last   Avg  Best  Wrst StDev
 1. static.225.104.9.5.clients.your-server.de                    0.0%  5140    0.8   0.6   0.5  17.4   1.6
 2. hos-tr1.ex3k20.rz16.hetzner.de                               0.2%  5139    5.7   1.1   0.8  20.6   1.9
 3. static.11.128.9.5.clients.your-server.de                     0.0%  5139    0.8  34.7   0.1 36117 1123.
poiuty ★
() автор топика
Ответ на: комментарий от mky

выключил/ включил драйвер. ребутнул сервак, стало гуд. Что за магия? xD еще старый биос -> мб из-за этого, отправил запрос чтобы апнули.



 Host                                Loss%   Snt   Last   Avg  Best  Wrst StDev
 1. 2a01:4f8:162:240::1               0.0%  3036    3.7   1.4   0.6  17.5   1.4
 2. 2a01:4f8:0:16:6:0:16:3            0.0%  3036    0.7   0.7   0.6  48.9   4.1
 3. 2a01:4f8:0:3::65                  0.0%  3036    0.7   0.6   0.6  32.0   1.3
 4. 2a01:4f8:0:3::a2                  0.0%  3036    0.6   0.6   0.6  15.0   1.3
 5. 2a01:4f8:0:3::b1                  0.0%  3036    5.5   5.4   5.4  23.4   1.1
 6. 2a01:4f8:0:3::2                   0.0%  3036    5.6   5.5   5.5  33.2   2.0
 7. 2a01:4f8:0:3::e                   0.0%  3036    5.5   5.5   5.5  21.0   1.0
 8. 2001:7f8::3b41:0:1                0.0%  3036    6.6   6.9   5.9  66.3   5.2
 9. 2001:4860::1:0:4ca3               0.0%  3036    7.1   7.0   6.5 113.5   5.5
10. 2001:4860:0:1::6d5                0.0%  3035    8.1   7.6   7.1  38.4   1.2
11. 2a00:1450:4001:803::1008          0.0%  3035    7.3   6.8   6.4  18.5   0.9
poiuty ★
() автор топика
Ответ на: комментарий от poiuty

Что за магия?

Чистая серверная магия :-)

Сомневаюсь, чтобы BIOS мог так влиять, с другой стороны, пусть обновят.

mky ★★★★★
()
Ответ на: комментарий от mky

На 8.036.00 - на этом сервере все таки проблема осталась. MTR до google.com 

server (::)                                 Tue Sep  3 22:40:44 2013
Keys:  Help   Display mode   Restart statistics   Order of fields   quit
                                  Packets               Pings
 Host                           Loss%   Snt   Last   Avg  Best  Wrst StDev
 1. 2a01:4f8:162:240::1          0.0%  2253    3.2  34.5   0.7 37428 1095.
 2. hos-tr6.juniper3.rz16.hetzn  0.0%  2252    7.2 119.3   0.3 37811 2082.
 3. core21.hetzner.de            0.0%  2252    0.7  17.1   0.3 37596 792.2
 4. core22.hetzner.de            0.0%  2252    0.9  33.7   0.3 37321 1111.
 5. core1.hetzner.de             0.0%  2252    6.2  38.4   4.9 37351 1112.
 6. core4.hetzner.de             0.0%  2252    5.5  21.4   4.9 36232 763.4
 7. juniper4.ffm.hetzner.de      0.0%  2252    5.6  37.9   5.0 37531 1096.
 8. de-cix10.net.google.com      0.0%  2252    6.4  39.9   5.7 37436 1096.
 9. 2001:4860::1:0:4ca3          0.0%  2252    7.0  91.5   6.2 37525 1750.
10. 2001:4860:0:1::6d3           0.0%  2252    7.4  23.2   6.5 36162 761.9
11. fra07s29-in-x05.1e100.net    0.0%  2252    7.3  23.3   6.4 36154 761.7

MTR до этого сервера 

Keys:  Help   Display mode   Restart statistics   Order of fields   quit
                                       Packets               Pings
 Host                                Loss%   Snt   Last   Avg  Best  Wrst StDev
 1. static.225.119.76.144.clients.yo  0.0%   476    1.3   2.1   0.6   7.9   1.3
 2. hos-tr1.juniper3.rz19.hetzner.de  0.0%   476    3.5   4.9   0.6  91.2  12.4
 3. core21.hetzner.de                 0.0%   476    0.7   0.7   0.4  19.6   1.2
 4. juniper3.rz16.hetzner.de          0.0%   476    0.7   2.1   0.4  81.0   6.2
 5. hos-tr2.ex3k20.rz16.hetzner.de    0.0%   476    2.0   3.0   1.3  13.5   1.8
 6. static.11.128.9.5.clients.your-s  0.0%   476    1.6 122.7   0.6 57745 2646.

Решил потестить, например взять 35 версию драйвера. И вроде бы стало гуд.

                         My traceroute  [v0.75]
server (::)                                      Wed Sep  4 06:42:50 2013
Keys:  Help   Display mode   Restart statistics   Order of fields   quit
                                       Packets               Pings
 Host                                Loss%   Snt   Last   Avg  Best  Wrst StDev
 1. 2a01:4f8:162:240::1               0.0%  1000    1.4   2.2   0.7  23.8   1.6
 2. hos-tr5.juniper3.rz16.hetzner.de  0.0%  1000    0.7   1.7   0.3  53.1   5.5
 3. core21.hetzner.de                 0.0%  1000    0.7   0.7   0.4  16.6   0.8
 4. core22.hetzner.de                 0.0%  1000    0.7   0.7   0.3  13.1   0.8
 5. core1.hetzner.de                  0.0%  1000    5.6   5.5   5.4  26.2   1.2
 6. core4.hetzner.de                  0.0%  1000    5.6   5.5   5.5  20.9   1.1
 7. juniper4.ffm.hetzner.de           0.0%  1000    5.6   5.5   5.2  18.6   0.7
 8. de-cix10.net.google.com           0.0%   999    6.8   8.0   6.0  74.3   6.5
 9. 2001:4860::1:0:4ca3               0.0%   999    7.2   7.3   6.5  17.6   1.5
10. 2001:4860:0:1::6d5                0.0%   999    7.9   7.6   7.1  33.5   1.0
11. fra07s30-in-x01.1e100.net         0.0%   999    6.8   6.6   6.3   9.2   0.3

А теперь снова MTR до этого сервера 

                             My traceroute  [v0.75]
server.ru (0.0.0.0)                              Wed Sep  4 06:43:34 2013
Keys:  Help   Display mode   Restart statistics   Order of fields   quit
                                       Packets               Pings
 Host                                Loss%   Snt   Last   Avg  Best  Wrst StDev
 1. static.225.119.76.144.clients.yo  0.0%  1054   11.4   1.9   0.6  11.7   1.4
 2. hos-tr1.juniper3.rz19.hetzner.de  0.0%  1054    0.7   2.9   0.2  83.2   9.9
 3. core21.hetzner.de                 0.0%  1054    0.7   0.6   0.3  17.0   0.8
 4. juniper3.rz16.hetzner.de          0.0%  1054    0.8   3.5   0.3  86.5  10.2
 5. hos-tr2.ex3k20.rz16.hetzner.de    0.0%  1054    4.6   2.7   1.3  18.4   1.6
 6. static.11.128.9.5.clients.your-s  0.0%  1054    0.7   0.6   0.3  13.6   0.5

Сервер все-таки дропнул. Буду апать E3-1245 c Intel NIC до 32 Гб оперативки.

poiuty ★
() автор топика
Ответ на: комментарий от mky

Это похоже на баг драйвера или ядра? Как это можно было дебажить дальше? Куда писать на счет этого бага?

poiuty ★
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
← Помогите разобратся с java приложением
Admin
Nginx не дружит с Perl →