Наткнулся на странных ботов, которые проверяют файлы на веб-сервере. Порадовало, что их приходит совсем немного.
Что не обрадовало: из-за nginx-а в качестве reverse-proxy получаем лишнюю нагрузку на веб-сервер и прокси при нулевом исходящем трафике. Делают это неприрывно.
Что интересно - запросы с очень интересным набором заголовков:
- Старинный UA (FF/3.6)
- По два заголовка «Pragma: no-cache» и два заголовка «Cache-Control: No-Cache» и «cache-control: no-cache»
- Фиксированные «if-none-match: xxxx:0»
Никто не сталкивался с таким ?