YandexMobileBot игнорирует robots.txt

Честные роботы вроде должны уважать robots.txt, не?

Должны, но не обязаны. Можно писать в Спортлото, Лигу сексуальных реформ, ЮНЕСКО, но...

обычное дело и надо костылить блэклист ботов по юзер-агенту

this. Просто есть такие бизнесмены которым на правила человеческого общежития насрать. Пока за это не тащат в суд, не выписывают штраф и не дают срок можно всё, рассуждают они.

https://yandex.com/support/webmaster/robot-workings/check-yandex-robots.xml

A number of Yandex robots download web documents for purposes other than indexing. To avoid being unintentionally blocked by site owners, they may not follow the robots.txt limiting directives designed for random robots (User-agent: *).

To prevent this behavior, you can restrict access for these robots to some or all of your site using the following disallow robots.txt directives, for example:

User-agent: YaDirectFetcher
Disallow: /

User-agent: YandexMobileBot
Disallow: /private/*.txt$

Честные роботы вроде должны уважать robots.txt

А-ха-ха-ха-ха. Я когда-то держал в инете страничку, ну так для своих целей. так этим ботам вообще насрать на robots.txt, что тындексу, что гуюглу.

Спасибо.

Два захода было в последнем логе, с интервалом в двое суток. Первый раз скачал файл *.js. Для каких таких зловещих целей ему мог понадобиться скрипт?!

Честные

Где ты в интернете честных видел?

гуюглу
вообще насрать на robots.txt

Врать нехорошо.

еще советник яндекс забавная штука

особенно для владельцев инет-магазинов))

Для каких таких зловещих целей ему мог понадобиться скрипт?!

видимо кто-то использует этот скрипт в своём сайте.