LINUX.ORG.RU

Вычисление роботов

 , , , ,


0

1

По каким признакам запроса можно определить, что стучится бот? Яндекс/Гугл/Еще кто. Может есть какие-то списки юзер-агентов? Но я где-то слышал, что яндекс-гугл умеет ходить с чужими юзер-агентами.

★★★★★

По первому вопросу, сам должен понимать что общего решения нет.
По второму, «официальных» списков нет, в интернетах можешь попробовать найти, что люди составляли.
Для отдельных поисковиков, можно у них в доках посмотреть.

anonymous
()

Они robots.txt сначала запрашивают. Можно грепнуть по bot access.log.

pawnhearts ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.