Мой роутер меня забанил

Если в openwrt есть какой-то более человекочитаемый способ получить содержимое netfilter, скажите мне, я вечером выложу.

nft list ruleset

Если там есть аналог fail2ban - смотри его логи и логи сервисов, плагины для которых включены в fail2ban.

Может твой ПК где-то пытается авторизоваться некорректно и fail2ban блокирует доступ.

А у меня дешманский тупо-линк с помойки купленный 7 лет назад имеющий из настроек две кнопки, как включил так и работает :)

Может в самом роутере с ПЗУ проблемы? Ну проще говоря прошивка слетает, пытается прочитать конфиг, а никак, а по умолчанию на всё блок или типа того. Это я к тому что система нипеля там сложная, может попробовать просто перезалить прошивку, ведь если реально неадекватное поведение внезапное и оно связано с выше предпологаемыми проблемами то один фиг придётся перезаливать.

Мимокрокодил, помыслил вслух просто.

P.S.

который одновременно является NAS

Тогда ой, проглядел.

Наблюдаю подземный стук:

Что ж вы все с этим стуком то

Эээ. Если бы слетала прошивка, там был бы кирпич. Более того, это не лечилось бы перезагрузкой.

Может, память битая, при достижении какой-то там ячейки наверху происходит ой, но эту версию мы отложим до изучения более простых.

Дорогие ученые. У меня который год в подполе происходит подземный стук. Объясните, пожалуйста, как он происходит.

Может, память битая, при достижении какой-то там ячейки наверху происходит ой, но эту версию мы отложим до изучения более простых.

Очень маловероятно, если ты пишешь, что проблема проявляется только для твоего ПК и с другими узлами сети проблем нет.

Смотри логи сервисов.

Очень маловероятно, если ты пишешь, что проблема проявляется только для твоего ПК и с другими узлами сети проблем нет.

Согласен.

В OpenWRT-шном iptables чёрт ногу сломит.

/etc/config/firewall - он из этого файла генерит, man

а в dmesg при этом на ПК и роутере нет ничего интересного?

Какая версия nfs используется?

А во время такой «блокировки» arp нормально работает (arping для проверки)?

Я бы начал с отключения всех offload на сетевом интерфейсе ПК, потом на роутере.

Он тебя скорее всего по какому-то packet-rate банит, но где именно и как чинить - увы не подскажу, я это всё трогал много лет назад.

а в dmesg при этом на ПК и роутере нет ничего интересного?

В роутере нет dmesg. На ПК просто «nfs: server 192.168.10.1 not responding, timed out». После перезагрузки роутера «nfs: server 192.168.10.1 OK». И файловая операция продолжается как ни в чём не бывало, слава NFS.

Какая версия nfs используется?

Четвёртая.

А во время такой «блокировки» arp нормально работает (arping для проверки)?

Нет.

Вот и я так думаю. Но единственный packet-rate, что я нашёл, это syn-flood protection.

wild guess:

при интенсивных сетевых операциях по NFS или загрузке торрентов

заканчиваются свободные сокеты? там ведь можно ограничения ставить через sysctl

С других клиентов все вышеперечисленные службы остаются доступны

не может ли это быть простым совпадением? пока идешь до мобильника, на роутере освобождаются ресурсы и создаётся впечатление, что с мобилы работает, а с десктопа - нет

при интенсивных сетевых операциях по NFS или загрузке торрентов роутер банит настольный компьютер.

Проц перегружен

Выглядит это так: всё продолжает работать, кроме соединений с роутером. То есть связь настольный компьютер - интернет, настольный компьютер - другие клиенты WiFi продолжает работать

Это всё может идти большей частью через switch chip. Ну, за исключением файрволла, но ему файловое хранилище для работы не нужно. А вот весь юзерспейс и файловое I/O может и откиснуть, тут не угадаешь.

Можно зайти, например, с телефона в Luci и перезагрузить роутер.

Хм, а вот это уже не вкладывается в мою теорию. Сеть Wi-Fi и проводная объединены в bridge или разные? Интенсивный обмен по NFS идет именно от компа на котором с доступом происходит несчастье?

В роутере нет dmesg

Он там есть, просто утилита называется logread

не может ли это быть простым совпадением? пока идешь до мобильника, на роутере освобождаются ресурсы и создаётся впечатление, что с мобилы работает, а с десктопа - нет

Нет, не может. Если бы освобождались ресурсы, NFS бы подключался обратно. А тут устойчиво настольный ПК забанен, а телефон устойчиво работает.

Проц перегружен

Для ПК перегружен, а для ноутбука нет? )

Это всё может идти большей частью через switch chip.

Да, но внешний интернет подключен через PPPoE, там процессор нужен. А внешний интернет продолжает работать, отваливаются NFS, DNS, DHCP, SSH.

Сеть Wi-Fi и проводная объединены в bridge или разные?

Объединены.

Интенсивный обмен по NFS идет именно от компа на котором с доступом происходит несчастье?

Да.

Добавь в самый верх правил пакетного фильтра правило ACCEPT в таблицах INPUT, OUTPUT, FORWARD для IP ПК.

Привяжи к мак адресу ПК статический lease, если проблема уйдёт - значит в правилах файрволл и объёме трафика была.

Телефон может получить IP от DHCP?

Очень странное поведение. Попробуй подключиться по SSH с телефона к роутеру, а с роутера ssh к компьютеру

Можно же лучше, подключиться телефоном к WIFI роутера, потом подключить телефон к ПК проводом и раздавать Internet с телефона на ПК.

Вообще кайф будет.

Телефон может получить IP от DHCP?

Да.

Очень странное поведение. Попробуй подключиться по SSH с телефона к роутеру, а с роутера ssh к компьютеру

Сейчас вот качаю большой файл, посмотрим.

я имею ввиду, что нужно проверить связь роутер -> компьютер

Да, я понял. О таком способе я не подумал.

ssh добавляет задержки, т.ч. скорее всего будет работать.

Я вижу два варианта проблем: в USB (через которое подключен hdd) и проблему в сетевой карте.

Я бы посмотрел какие offload (tso,gso,gro,lro,sg) есть на роутере и на ПК, и попробовал их отключать (ethtool -k).

А если на роутере сделать dd if=/dev/sdX bs=64k of=/dev/zero, то проблем не возникает? Просто тест на то, что с usb все впорядке.

Я тут столкнулся со странными эффектами на usb3 c сетевой картой.

Я вижу два варианта проблем: в USB (через которое подключен hdd) и проблему в сетевой карте.

Если бы проблемы с USB влияли на luci, то я не мог бы подключиться к luci ни с ПК, ни через WiFi. Проблема в сетевой карте и offload — это надо посмотреть, да.

это надо посмотреть, да.

Уже выше написали, что смотреть надо логи в момент возникновения проблемы в первую очередь. Если с этим есть проблемы, то тогда удалить openwrt.

Ну, поехали.

logread: https://hastebin.com/share/ruxatemasu.yaml

Я попробовал использовать случайный mac. Не помогло. Видно, что DHCP сервер пытается раздать IP новым появившимся в сети mac-адресам. Но пакеты не доходят.

192.168.10.193 - это ноутбук, он подключился по WiFi и работает нормально, в т.ч. по NFS.

nft list ruleset: https://hastebin.com/share/ovatucuyeq.python

ip n видит новые случайные mac-адреса настольного ПК. Настольный компьютер видит роутер в таблице ARP.

Дальше я поменял физический порт с первого на третий. Не помогло.

Ощущение, что забанен весь исходящий трафик по проводу, а по WiFi всё работает.

Но это же чудеса. И главное, интернет-то работает, LOR грузится - если установить статический IP, адрес шлюза и внешний DNS.

Offload по Ethernet как проверить?

P.S. Занятых сокетов около 1000 из 65000. Нагрузка на процессор не более 50% при интенсивном копировании по NFS. После того, как NFS отвалится нагрузка вообще около нуля.

Подкллючил ноутбук по проводу. Он не смог получить адрес по DHCP и подключиться к роутеру. Т.е. отваливается именно проводное соединение.

Ощущение, что забанен весь исходящий трафик по проводу, а по WiFi всё работает.

Попробуй поменять провод, может он у тебя поврежден, хотя конечно переключение в другой порт, опускание и поднятие линка должны бы были помочь.

Я вот уже другим проводом и другим ноутбуком подключился.

И главное, интернет-то работает, LOR грузится - если установить статический IP, адрес шлюза и внешний DNS.

А сам роутер пингуется в этот момент по ethernet подключению?

Да. Пинги ходят в обоих направлениях.

На WiFi существенно выше задержки и скорость ниже чем по проводу.

Offload по Ethernet как проверить?

ethtool -k

А от направления копирования по nfs что-нибудь меняется?

это обычный 12309

На WiFi существенно выше задержки и скорость ниже чем по проводу.

И?

ethtool -k

А, точно :-)

А от направления копирования по nfs что-нибудь меняется?

На сколько я могу судить, нет. Надо ещё попробовать подключить ноутбук по WiFi, зацепить NFS и сломать WiFi.

Кто-нибудь уже советовал установить tcpdump на роутер и/или ПК?

logread

Это в момент интенсивной нагрузки, когда всё отваливается? Или уже отвалилось и пробуешь подключаться?

перезагрузить роутер

Если перезагружать не роутер, а отдельные службы?

Это в момент интенсивной нагрузки, когда всё отваливается? Или уже отвалилось и пробуешь подключаться?

Это когда уже всё отвалилось, подключаюсь с ноутбука и снимаю logread.

То есть логи же в ОЗУ только хранятся (по умолчанию). Не стерлись ли в момент сбоя? Не надо ли настроить запись логов на диск или удаленный ПК?

То есть логи же в ОЗУ только хранятся (по умолчанию). Не стерлись ли в момент сбоя?

Ага, «стёрлись». Выборочно, с выравниванием по концу строки, да так, что ядро не заметило потери бойца.

Не нужно нести чушь :-) Так не бывает.

рестарт /etc/init.d/log restart стирает логи. Просто у него ещё короткий вывод logread. В 64кб, которые по умолчанию, обычно больше текста влазит. Либо он не весь лог показал.

с выравниванием по концу строки

Это не понял. Где выравнивание по концу строки?

Либо он не весь лог показал.

Там не весь лог, зачем вам всякие мои логинытрёхчасовой давности.

Ну вон выше предложили повыключать все эти tso, gso: ethtool -K eth0 tso off gso off gro off

Окей, вечером потестирую, сейчас работа.

Вероятно вообще баг в драйвере. Поищи похожу проблему в issues на гитхабе OpenWRT. Можешь еще версию OpenWRT и модель роутера написать

Что-то подобное тут: https://github.com/openwrt/openwrt/issues/9717

Но тут software flow offload, а у меня он выключен.

По ссылке написано, что у роутера весь трафик переставал через ethernet отправляться. А здесь получается, что транзитный трафик спокойно роутится, более того даже локальные icmp приходят и уходят. Т.е. проблема получается чисто с локальным udp/tcp трафиком. Вот как раз поэтому gso в первую очередь под подозрение попадает. Т.е. его надо заранее выключить и потестироватьуже без него - будет проявляться проблема или нет. Если также будет проявляться, то можно правила добавить в INPUT/OUTPUT цепочки нетфильтра на ACCEPT (например, для udp пакетов с 67 и 68 портом для DHCP) и дальше по счетчикам посмотреть приходят ли пакеты на br-lan и уходят ли с него и т.п.

А, мудотек. Там емнип может встать колом dma между процом и свитчом, там не gmii, а шаред мемори емнип. Проявляется как раз под нагрузкой и симптомы схожи, потому что транзитный проходит. Ограничь nfs по пропускной способности, триггериться будет реже.