История изменений
Исправление niXman, (текущая версия) :
ах да, что-то я не подумал об об этом. по юзерагенту все становится понятней:
173.199.114.235 - - [21/Apr/2013:10:39:05 +0000] «GET /3589-alisa-2012-2011.html HTTP/1.1» 404 459 "-" «Mozilla/5.0 (compatible; AhrefsBot/4.0; +http://ahrefs.com/robot/)»
и тут даже рассказано о том, как от него избавится: http://ahrefs.com/robot/
Исправление niXman, :
ах да, что-то я не подумал об об этом. по юзерагенту все становится понятней:
173.199.114.235 - - [21/Apr/2013:10:39:05 +0000] «GET /3589-alisa-2012-2011.html HTTP/1.1» 404 459 "-" «Mozilla/5.0 (compatible; AhrefsBot/4.0; +http://ahrefs.com/robot/)»
Исходная версия niXman, :
ах да, что-то я не подумал об об этом. по юзерагенту все становится понятней: 173.199.114.235 - - [21/Apr/2013:10:39:05 +0000] «GET /3589-alisa-2012-2011.html HTTP/1.1» 404 459 "-" «Mozilla/5.0 (compatible; AhrefsBot/4.0; +http://ahrefs.com/robot/)»