LINUX.ORG.RU
Форум — General  

Как прикинутся Гугл ботом?

 , ,


0

1

Хочу видеть меньше пустых «Этот сайт требует JavaScript»
Сейчас поменял User Agent на Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) но походу сайтам пофиг. Как будто ничего и не менял.

Если не гуглом прикинутся то кем? Может уже кто то так тут делает

★★★★

Последнее исправление: bga_ (всего исправлений: 1)
← Собственный Dropbox, лежащий на дешёвой VDS в виде криптованного файла - как?
Автоматически перевести мат формулы? →

Тут такое дело, гугловый бот уже давно умеет в js. Они даже отказались от навязывания практики с escape_fragment.

anonymous
()
Ответ на: комментарий от bga_

По ip никто не смотрит. В хелпе гугла даже есть заметка о том, что так делать нельзя. Смотрят reverse dns.

anonymous
()

Не пишут они googlebot в юзер агенте и в referer ничего такого. Зато много других ботов, попробуй этот:

[19/Apr/2019:05:23:40 +0300] "GET / HTTP/1.1" 200 329 "-" "Mozilla/5.0 (compatible; Nimbostratus-Bot/v1.3.2; http://cloudsystemnetworks.com)" "-"
Aber ★★★★★
()
Ответ на: комментарий от Aber

Пишут-пишут, именно как у ТС (хотя есть ещё вариант длиннее для мобильной версии):

"Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
xaizek ★★★★★
()
Ответ на: комментарий от bga_

Да, в тех случаях когда вообще есть обработка ботов - древностям отдаётся тоже текст.

no-such-file ★★★★★
()
22 мая 2019 г.

Подниму тему.
На Али стало невозможно искать без логина. При этом гугл явно индексировать может.
Вот такая вот несправедливость.

bga_ ★★★★
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
← Собственный Dropbox, лежащий на дешёвой VDS в виде криптованного файла - как?
General
Автоматически перевести мат формулы? →