Да вроде нет, SputnikBot успешно банится через robots.txt. Вот только берут сомнения, надо ли это делать...

агрессивные методы поиска по сайтам

Зачем?

Чтоб знать то, что скрывают от поисковиков. Да я в курсе, что чаще всего цель исключений в robots.txt чисто техническая. Но например, некоторые электронные библиотеки специально принимают меры, чтобы их не индексировали в поисковиках.

Зачем это общедоступному поиску? лично для себя фсб может отдельный сервак намутить под такую тему

+1

Ну если ошибся с прогнозом, даже рад буду, значит уровень маразма, все-таки не настолько высокий.

Россия + спутник = не взлетит.

А мне стало пофиг на «агрессивные методы» как поставил ваниш. Да и в бинг залез и спутник уже всё проидексировал.

Ты на самом деле считаешь что тот же гугол не индексирует сайты, игнорируя robots.txt?
Идёт ли это в выдачу результатов поиска - совсем другой вопрос.

Интересно, угадаю или нет?

Учитывая количество готовых опенсорсных кравлеров, работающих поверх hadoop, вообще не понимаю, зачем что-то гадать. Покурить матчасть, и ответ уже готов.

если хочешь точно скрыть содержимое от поисковика - грузи весь контент через ajax, а се данные о том, что показывать, передавай серверу не через адресную строку, а тоже через ajax.

тогда придется адаптировать индексатор к конкретному сайту.

грузи весь контент через ajax

Кто знает на что способны поисковики особого назначения. Для надёжности надо текст рендерить в картинки с шумом.

Спутник, спутник, не взлети!
Упади на полпути!

Для этого надо было «протоном» назвать...

Как проект назовёте, так он и не взлетит.

So slooooow.

А этот, небось Спутник-100500.

sputnik.ru - TV

Очень понравилось наличие ТВ на главной. Можно будет бесплатно, без смс смотреть крупные спортивные мероприятия.

P.S. правда не совсем ясно, что у них с соблюдением прав на трансляцию.

правда не совсем ясно, что у них с соблюдением прав на трансляцию

ростелеком же

желаю проекту сдохнуть забвении, а разоработчкам - в мучениях, от отравления дошираком.

Все гораздо проще. Ничего полезного он находить не будет, деньги попилят.

забыл наванговать дату. апрель следующего года.

Зачем это общедоступному поиску? лично для себя фсб может отдельный сервак намутить под такую тему

Зачем пилить 2, если всё можно реализовать в одном флаконе с разграничением выдачи результатов.