Изучение запросов на сервер от ботов

по пустому рефереру еще только

Ну, как минимум
https://fake-useragent.readthedocs.io/en/latest/

Надёжно наверное будет анализировать как выполняются запросы в рамках какого-то промежутка времени.
К примеру боту вот ни к чему не сдалось тянуть js/css он точечно один запрос сделает явно игнорируя не нужные ему доп запросы, которые браузер явно выполнит

то бесполезная либа

def random_chrome_useragent() -> str:
    platform = random.choice(
        [
            "Windows NT 10.0; Win64; x64",
            "Macintosh; Intel Mac OS X 10_15_7",
            "X11; Linux x86_64",
        ]
    )

    return (
        f"Mozilla/5.0 ({platform}) AppleWebKit/537.36 "
        f"(KHTML, like Gecko) Chrome/{random.randint(88, 130)}.0.0.0 Safari/537.36"
    )

вот тебе и рандомный агент

как как

сайт твой же

выставляешь сессионную куку нормальному пользователю, только с хитрым именем

врядли бот ее сохранит

ну и смотри кто без нее ломится

через куки никто не работает. сейчас токены популярны и REST-подход, когда не хранится состояние, что позволяет лучше параллелить приложение (горизонтальное масштабирование, ага, как в гробу)

а ты не работай просто выставляй

тебе ж надо отличить обычный браузер от бота

браузер куку примет автоматом, бот нет.

браузер куку примет автоматом, бот нет.

нет. куки даже стандартные либы обрабатыват и утилиты типа curl.

ты так говоришь как будто ты сам эти боты и писал

примет но в следующий запрос не вставит

проверь

ты так говоришь как будто ты сам эти боты и писал

А он и писал :))

по каким юзерагентам их еще можно палить?

Вот Crawlers один из самый больших списков для определения ботов по юзерагенту.

Accept-Encoding: gzip, deflate, br, zstd

Я уж подумал про brotli… с ней боты не заморачиваются. По br в Accept-Encoding можно людей от нелюдей отличить. А в той библиотеке наивный способ определения ботов

среди посетителей сервака отсеивает лысых обезьян по юзер-агенту

Не совсем понятно ради чего вы переизобрели fail2ban. Там не только по юзер агенту, но и по частоте обращения, вхождениям request uri и прочим паттернам можно настроить. Баны гибкие, можно указать перманентные или на определенное время, например на сутки. Конфиг fail2ban на любой вкус в сети валяется.

мимо еще не лысый обезъян

Добавь на страницу JS <script>fetch("/im_normis")</scrip>; по этому урлу потом можно исключить айпи из лога.

Так лоровцев с отключенным js наловит

  # Фильтруем запросы от ботов по User-Agent
  map $http_user_agent $is_bot_useragent {
    default 0;
    ~curl 1;
    ~Wget 1;
    ~python-requests 1;
    ~python-httpx 1;
    ~aiohttp 1;
    ~Go-http-client 1;
    # Мне эти гуглоботы не нужны в логах
    # ~*bot\b 1;
  }

  # Проверка на наличие br в Accept-Encoding
  map $http_accept_encoding $not_brotli {
    default 0;
    !~*\bbr\b 1;
  }

  # Объединяем результаты проверки по User-Agent и Accept-Encoding
  map $is_bot_useragent$not_brotli $is_bot {
    default 0;
    ~1 1; # Если юзер-агент как у бота или не используется brotli
  }

  # удобно с помощью jq искать нужные данные
  log_format json_combined escape=json
    '{'
      '"local_time":"$time_iso8601",'
      '"ip_addr":"$remote_addr",'
      '"user_agent":"$http_user_agent",'
      '"http_cookie":"$http_cookie",'
      '"http_authorization":"$http_authorization",'
      '"referrer":"$http_referer",'
      '"content_type":"$http_content_type",'
      '"request_method":"$request_method",'
      '"request_uri":"$request_uri",'
      '"request_body":"$request_body",'
      '"response_status":$status,'
      '"response_content_type":"$sent_http_content_type"'
    '}';

  access_log /var/log/bot_access.log.json json_combined if=$is_bot;

Я логирую данные всего тела запроса не чтобы их банить, а чтобы изучать атаки на сервер, для выявления неизвестных, представляющих определенную ценность… Все мои серваки - это по факту ханипоты. Сегодня просто руки дошли старье переделать

Добавь на страницу JS

Сейчас только самые простые боты не используют js, те что хотят быть не отличимыми от браузера простого юзера, всё загружают и исполняют.

Этот бот, кстати, CISCO искал, чтобы выполнить зловредную команду. Используя, эти логин и пароль:

atob('bmVzdGxlOm5lc3RsZQ==')
'nestle:nestle'

Так его…

sudo iptables -A INPUT -s 45.155.91.226 -j DROP

А еще лучше весь этот хостинг:

sudo iptables -A INPUT -s 45.155.91.0/24 -j DROP

Тогда остаётся только капча :) Хотя, если боты просто шлют запросы по статичным урлам для выявления уязвимостей, то зачем им JS?