virtual hosts , поисковые системы

1. Списки свежезарегистрированных доменов (чаще всего).
2. Стук браузера в гугл safebrowsing и тд.
3. Могут и не узнать.

А чего ты хочешь добиться?

Понял! Спасибо. Домен у меня не новый, у меня просто А запись. Ну примерно так я и думал...

Я нуб, и не понимаю: для вирт. домена, есть принципиальное различие, между CNAME и A записью? Для меня просто удобнее А запись.

А добиться хочу, того, чтобы никакие поисковики меня не кешировали... У меня сайт: xxx.ru - живёт отдельно (он кешируется в поисковиках), а вот: yyy.xxx.ru - живут отдельно, и вот для yyy.xxx.ru, которые хостятся в другом месте и предоставляют служебные старички, я не хочу чтобы ко мне приходили боты, и стучались ко мне.

Может за одно расскажете как это сделать грамотно? :)

Да. Закрыть на логин и пароль.

Могу ошибаться, НО.

Для виртуального домена разницы никакой нет - что в конфиге напишите, то и будет отрабатывать (можете сделать сайты с www и без www разными - никто не мешает). Но для поисковика разница между cname и a конечно есть. Схематически, одно является ссылкой на другое (cname ссылается на имя a записи или основной домен зоны). И если на одну a запись есть cname (скажем, localhost a 127.0.0.1 и http://www.localhost cname localhost.), то поисковик, в случае идентичных сайтов, выберет для себя какой-то один, как основной.

Вижу два способа это сделать. Корректный - все же сделайте разные robots.txt, это дело одной минуты. Но если вам лень делать разные robots.txt, можете в настройках виртуалхоста загнаться на тему блока юзерагентов, айпишников ботов... Вряд ли вам это надо =)

Да.

Это ты про что?

Закрыть на логин и пароль.

Согласен, но мне всё же не очень хочется болтаться при этом главной страницей в поисковике. :(

А добиться хочу, того, чтобы никакие поисковики меня не кешировали

Банить Googlebot, YandexBot и остальных по юзерагенту. Апачем, nginx, или что у тебя спереди стоит.

На robots.txt большинство ботов (в том числе и гуглбот) кладут, так что он не поможет.

Согласен, но мне всё же не очень хочется болтаться при этом главной страницей в поисковике. :(

Можно ограничить доступ к служебным вхостам, разрешив заходить только со своего ip или подсети, а остальным отдавать 403/444.

А собственно, ОТКУДА поисковые системы узнают о моих виртуальных доменах, если не постить нигде в Интернет ссылки на них..?

По ссылкам с других доменов, или если самому сообщить о своём сайте (например http://www.google.com/addurl/?continue=/addurl).

robots.txt большинство ботов (в том числе и гуглбот)

Откуда инфа?

Из практики. Сожрет и поставит в выдачу, но без сниппетов.

Не совсем понял о чем речь. Disallow и delay работают как положено, например.

Disallow

Гугл в ряде случаев забивает на него и все равно ходит по страницам + зачастую эти страницы ставит в поисковую выдачу, но без заголовка и описания.

Ко всему добавлю, счётчики посещений.

Спасибо!

Спасибо за ответы!

У меня будет на внешнем ip болтаться только сайты третьего уровня, при том виртуальные. Стало быть хочу вот так замутить: на каждый reverse-proxy virthost:

location ^~ /robots.txt {
        alias /var/www/html/robots.txt;
}

Или что-то подобное...

Сделал пока вот так вот в директиве виртуального хоста:

server {
 listen 80 ;
 server_name xxx.company.ru www.xxx.company.ru
 server_name_in_redirect off;
 rewrite ^ https://$host$request_uri? permanent;
}

server {
 listen 443 ssl;
 server_name xxx.company.ru www.xxx.company.ru;
 root /etc/nginx/conf.d/myvhost;
 index index.html index.htm;
 rewrite ^/$ /xxx;

 ssl on;
 ssl_certificate ...

	location /robots.txt {
        alias /etc/nginx/conf.d/myvhost/robots.txt;
	}

	location / {
	try_files $uri $uri/ /index.html;
	}

...

# cat /etc/nginx/conf.d/alfresco/robots.txt 
User-agent: * 
Allow:

Вроде работает.