История изменений
Исправление anonymous_incognito, (текущая версия) :
Для начала советую изучить содержимое файла robots.txt с этого сайта с защитой.
Я думаю что может быть он скрывает свой ip и меняет на ip пользователя, не знаю.
Что-то я с трудом представляю как это можно сделать, разве что через js на стороне клиента, но это будет слишком заметно и не надёжно. Скорее всего, просто маскирует User-Agent под какой-нибудь популярный браузер. А в логах какой-то IP должен засветиться как прошедший по всем страничкам. Хотя теоретически это может быть вообще распределённый ботнет, тогда действительно почти бесполезно искать.
Попробовал зайти на этот сайт с нескольких анонимайзеров отдает Forbidden. Я хотел бы поставить тоже такую защиту.
Сами составили или взяли где-то списки анонимайзеров и т.п. Или как вариант заблокировали аномальную активность с определённых адресов (если с анонимайзера много пользователей заходит так и будет)
Исправление anonymous_incognito, :
Для начала советую изучить содержимое файла robots.txt с этого сайта с защитой.
Я думаю что может быть он скрывает свой ip и меняет на ip пользователя, не знаю.
Что-то я с трудом представляю как это можно сделать, разве что через js на стороне клиента, но это будет слишком заметно и не надёжно. Скорее всего, просто маскирует User-Agent под какой-нибудь популярный браузер. А в логах какой-то IP должен засветиться как прошедший по всем страничкам. Хотя теоретически это может быть вообще распределённый ботнет, тогда действительно почти бесполезно искать.
Исходная версия anonymous_incognito, :
Для начала советую изучить содержимое файла robots.txt с этого сайта с защитой.