LINUX.ORG.RU
Форум — Web-development  

ip адреса поисковых ботов


1

1

Хочу забанить гугл и яндекс ботов, но я знаю только пару штук их адресов. Где нибудь есть наиболее полные списки их адресов? Файл для роботов не предлагать, я сомневаюсь что гугл не парсит сайт при наличии запрета в этом файле, просто в результаты не добавляет, а парсить парсит — нужно конкретно побанить.

← Авторизация в Symfony2
MYSQLDUMP - А есть ли опция для построчного INSERT? →

Файл для роботов не предлагать, я сомневаюсь что гугл не парсит сайт при наличии запрета в этом файле

И Гугл, и Яндекс честно реагируют на roots.txt, проверено. Если, конечно, речь о нагрузке на сайт и об отсутствии результатов в выдаче. Если тебе важно, чтобы вообще чужие не ходили, то уже нормально закрывать надо сайт, или авторизацией или разрешая ходить только с конкретных IP.

KRoN73 ★★★★★
()

Раз уж не веришь в честность поисков- анализируй логи. Парсь скриптом, кто читал robots.txt, и заноси ИПшники в свою базу.

ovax ★★★
()

А вот не знаю. Я хочу наоборот гугл бота разблокировать. Но сам гугл пишет, что разрешайте по user-agent'у и что список ip адресов гугл бота не предоставляют просто так. Но любой может замаскироваться под гугл бота.

anonymous_sama ★★★★★
()
Ответ на: комментарий от KRoN73

И Гугл, и Яндекс честно реагируют на roots.txt, проверено. Если, конечно, речь о нагрузке на сайт и об отсутствии результатов в выдаче.

о нагрузке на сайт и об отсутствии результатов в выдаче

На домене третьего уровня четвёртый месяц боты яндекса получают 404-ую на любой запрос. В robots.txt указан запрет на индексацию всего сайта. Сайт физически там уже не находится.

//Гугл ушёл на второй неделе.

shrub ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
← Авторизация в Symfony2
Web-development
MYSQLDUMP - А есть ли опция для построчного INSERT? →