Centos gateway пропадают устройства

Какая у тебя модель - push или pull?

1. Устройства присылают данные на шлюз?

или

2. Шлюз опрашивает устройства?

С какой частотой опрашиваете устройства? Может быть проблема в очень частом опросе очень большого числа устройств?

Если да, то в этом нет смысла. Опрашивайте устройства раз в минуту. Если устройство поддерживаете snmp-traps, то настройте snmp на устройстве, чтобы отсылал сообщение при важном событие (например, on-battery, on-voltage).

Отваливаются не только устройства, опрашиваемые по SNMP. Службу опроса SNMP вообще останавливаю и все равно некоторые устройства теряют связь периодически.

Похоже что умирает сетевая - по перегреву отвал, перезагрузка контроллера, остывание и вновь запуск. Если ошибок по буферам как раньше нет.

Вряд ли. Похожая проблема спустя полгода как-то подозрительно.

А есть пирометр чтобы взять и проверить версию с нагревом сетевой карты. Оборудование промышленное, может там действительно очень жарко.

Пирометра нет, но можно подумать где взять. Но неужели может полгода работать без перебоев и внезапно начать после похожей проблемы.

https://www.kernel.org/doc/Documentation/hwmon/sysfs-interface

Увеличил период опроса в утилите SNMP - не помогло.

что показывает команда

dmesg

Вот вывод команды dmesg в двух частях. Чуть больше года назад перешли из зоны 172.20 на 172.21, так что видимо в этом логе что-то не очень хорошее происходит, но так было и в эти полгода, когда все работало. https://pastebin.com/rLynm8Me https://pastebin.com/dahVpXAG

А что такое твой bond3 - может у тебя интерфейсы отваливаются по очереди или все интерфейсы разом?

https://serverfault.com/questions/312207/how-do-people-monitor-the-status-of-bonding-slave-interfaces-on-linux

Устройства отваливаются так сказать по очереди, то один, то другой, не все разом. И кстати все эти отваливающиеся устройства в bond3 находятся. bond3 это так сказать внешняя сеть.

P.S. Привет с Казахстана.

По SNMP данные уже собираются с сервера. Прилагаю скриншоты из скада системы. На всех отваливающихся устройствах прописан шлюз 172.21.0.211 https://ibb.co/bHv40Jd https://ibb.co/zfWtFFC

В момент отвала устройств никакой интерфейс не падает, судя по этим дисплеям.

Перезагрузка коммутаторов - не помогла. Прошу помощи.

Проблема все еще не решена. Может кто еще что подскажет.

И все еще нет решения.

Arp таблицу чистил, gateway сервер перезагружал, на ИБП 172.21.15.x всех выключил ipv6, хотя он и так на gateway выключен, увеличивал время опроса в SNMP скрипте, игрался с параметрами gc_thresh и прочими связанными с arp, нашел комп 172.21.0.41 на котором стояла прога мониторинга ИБП и он спамил арп запросами на все ИБП, отключил его. Ничего из этого не помогло. Знающий человек подсказал, что дело может быть в большом кол-ве броадкаст запросов, т.к. на всех устройствах, в том числе ИБП маска 255.255.0.0. Выкладываю настройки сети с gateway сервера и dump.pcap после tcpdump на интерфейсе bond3 (на нем сидят все 172.21.x.x устройства). Прошу помощи. https://yadi.sk/d/77-00fOEut4PDg https://yadi.sk/d/EP22HDiYyW2a5Q

Пояснение по устройству сети. Есть много электрических подстанций с разными устройствами в разных подсетях с айпи 172.21.x.x (172.21.15.x для ИБП, 172.21.10.x для измерительных приборов и т.д.) с маской 255.255.0.0 и шлюзом 172.21.0.211 (gateway сервер с firewall). Есть в сети обычные компьютеры с айпи 172.21.0.x с той же маской и шлюзом. На подстанции стоит L2 свитч, в который приходят все устройства. Есть серверная в которой стоят несколько опросных свитчей и 2 головных свитча, и gateway сервер в качестве шлюза. В момент отвала в скада системе, устройство (чаще всего ИБП, опрашиваемый по SNMP) перестает на 20-30 секунд пинговаться на gateway сервере, но продолжает пинговаться на компьютерах и даже доступ в веб-морду есть. Заметил, что если SNMP скрипт включать, то становится хуже и устройства (даже не опрашиваемые по SNMP) начинают чаще отваливаться. Возможно в этом есть какая-то логика.

А можно таблицу маршутизация с гетвея в момент пропадания пингов? И еще трассировку с гетвея до оборудования куда пропала связь? Так же можно посмотреть статистику интерфейса?

Заметил, что в тоже время, когда все началось, начали активно (но не каждый день) отваливаться порты на опросных свитчах и несколько раз даже на головных, как раз те, которые идут на gateway.

https://ibb.co/3BtprNW

Смотрите логи на свичах, статистику по портам. Возможно некоректно отрабатывает STP, если у вас такой не отключен и не настроен.

Увидел, что падают порты на опросных свитчах иногда и в этот момент настроенное RSTP перестраивает топологию. Прикладываю очень схематичную схему сети, может у кого есть какие идеи.

https://ibb.co/z7RbVmj

Смотри логи свичей почему отваливаются интерфейсы. А опросные коммутаторы у тебя в стеке или как ты регулируешь избыточность аплинков? RSTP настроен?

RSTP настроен да.

Оказалось рутом стал не тот коммутатор в rstp, изменил приоритеты. Топология теперь не перестраивается по 3-4 раза в час, но 1-2 раза в день все равно перестраивается, порты так же отваливаются. Не знаю куда и копать.

гуглить «tcn flood» смотреть с каких портов летят bpdu