История изменений
Исправление beastie, (текущая версия) :
А вот ещё top-11 за послении 2 месяца — что более актуально:
9990 Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) 2376 Mozilla/5.0 (compatible; MJ12bot/v1.4.5; http://www.majestic12.co.uk/bot.php? ) 1520 Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) 1173 Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) 1142 Mozilla/5.0 (compatible; YandexNews/3.0; +http://yandex.com/bots) 839 Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/) 831 Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, help@moz.com) 647 Mozilla/5.0 (compatible; spbot/4.4.2; +http://OpenLinkProfiler.org/bot ) 518 TurnitinBot/3.0 (http://www.turnitin.com/robot/crawlerinfo.html) 515 Mozilla/5.0 (compatible; YandexBlogs/0.99; robot; B; +http://yandex.com/bots)0 readers 427 Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
Тепеть bing ведёт себя хорошо (я, кстати, ничего не блочу), и mj реже заходит.
Исходная версия beastie, :
А вот ещё top-11 за послении 2 месяца — это более актуально:
9990 Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) 2376 Mozilla/5.0 (compatible; MJ12bot/v1.4.5; http://www.majestic12.co.uk/bot.php? ) 1520 Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) 1173 Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) 1142 Mozilla/5.0 (compatible; YandexNews/3.0; +http://yandex.com/bots) 839 Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/) 831 Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, help@moz.com) 647 Mozilla/5.0 (compatible; spbot/4.4.2; +http://OpenLinkProfiler.org/bot ) 518 TurnitinBot/3.0 (http://www.turnitin.com/robot/crawlerinfo.html) 515 Mozilla/5.0 (compatible; YandexBlogs/0.99; robot; B; +http://yandex.com/bots)0 readers 427 Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
Тепеть bing ведёт себя хорошо (я, кстати, ничего не блочу), и mj реже заходит.