как указать, что ресурс является копией для поискового движка

дисаллоу в robots.txt или редирект в .htaccess

здесь нет: https://www.google.ru/search?hl=ru&q=robots.txt mirror ?

Гляди. Редирект не поканает, потому что страницы - _разные_. Контент - одинаковый, семантически. Скажем, текст статьи. А вот всякие рекламы по углам и урл - другие. Есть директива Host, но, насколько понял, она может быть только одна, т.е. подразумевается полное зеркало всего сайта, а не конкретных урлов. Что делать?

http://help.yandex.ru/webmaster/?id=996567#996574

Важно: параметр директивы Host обязан состоять из одного корректного имени хоста

а мне нужно не полное зеркало всего хоста, а только конкретного урла (кстати, не ЧПУ, а с гет-параметрами). Причем не точную байт-в-байт, а чисто семантически.

http://help.yandex.ru/webmaster/?id=1111858#canonical

Можно так попробовать.

И гугл и яндекс в своих вебмастер-ах пишут, что зеркало/главный их системы сами определяют.

редирект только для ботов

Отличная идея, но у меня ресурсы на разных доменнах и поддоменах, а canonical работает только в рамках одного домена :(

Вот тут Rosko про редирект только для ботов говорит, похоже то. Осталось узнать, как это сделать :)

https://www.google.ru/search?q=RewriteCond&oq=RewriteCond&aqs=chrome....

Спасибо :) Закрываю.

http://help.yandex.ru/webmaster/?id=1111858#canonical

Вот это единственный правильный ответ в этой теме.

Вот это единственный правильный ответ в этой теме.

Fail.

В качестве канонического адреса указывается URL в другом домене или поддомене.

Fail

Fail

Google поддерживает канонизацию внутри поддоменов (пруф можешь найти собственно в Google). Пользователи Яндекса ССЗБ.

Вот это единственный правильный ответ в этой теме

На самом деле если тебя интересует именно индексация поисковиками, то действительно стоит использовать директиву canonical (разработчики Ubuntu тут ни при чем).

Но если посмотреть на проблему шире, то полезно всех пользователей редиректить на один поддомен, чтобы все обращения к сайту шли по единообразным адресам. Так можно избежать многих потенциальных проблем. Да и вообще приятно, что все ссылки на сайт будут одинаковые.

Пользователи Яндекса ССЗБ.

Гм, только трафик преимущественно из них и состоит.

Эта.
Цитата яднекса полностью:

Например, робот может не использовать указанный вами адрес, если:

• Документ по каноническому адресу недоступен для индексирования.
• В качестве канонического адреса указывается URL в другом домене или поддомене.
• Вы указали несколько канонических адресов.

В условиях как раз поддомены разные.

Во-первых, я говорил про Google, а не про Яндекс. Во-вторых, оттуда же цитата: «Робот считает ссылку с атрибутом rel=«canonical» не строгой директивой, а предлагаемым вариантом, который учитывается, но может быть проигнорирован». То есть проигнорирована эта директива может быть в любом случае.