Internet Archive всё?

Тебе же написали, что оно не может получить роботс.тхт

Раньше ему это не мешало.

>Please try again later.

Кто не в теме? Ты не в теме, ёпт.

1) Как долго ждать?
2) В комментах http://iawebarchiving.wordpress.com/category/open-threads/ пишут:
«I found no entries in 2010 and 2011 for most of our (well known) websites, in 2011 there are no entries (even Microsoft.com or Apple.com).»

Если он теперь работает только с явно разрешающими ему это сайтами - то он стал совершенно бесполезен.

А чё толку от этого сервиса, там вечно ничего нет. Оно не сохраняет даже и половины Интернетов.

Ну кое-что он сохраняет. Веб 1.0, например, часть которого дорога мне как память, а хостов тех уже сто лет как не существует...

>Если он теперь работает только с явно разрешающими ему это сайтами - то он стал совершенно бесполезен.

Просто попробуй позднее.

Там, кстати, зачем-то выкинули digital.com из базы.

Усё работает.