wget сломался и не хочет скачивать википедию

ЕМНИП у них можно скачать БД.

http://download.wikipedia.org/

Википедии не нравятся роботы.

# Sorry, wget in its recursive mode is a frequent problem.
# Please read the man page and use it properly; there is a
# --wait option you can use to set the delay between hits,
# for instance.
#
User-agent: wget
Disallow: /

И что с ней делать? Как её читать?

Укажи опцию «не читать robots.txt», можешь ещё User-Agent выдать ему браузерный.

Медиавику ставь и читай. Только имей ввиду что БД занимает ТБ при распаковке, а это ещё нужно импортнуть..

-U Firefox/3.5 не поможет?

Чую, за такие шалости wikimedia временно отлучит от досутпа к википедии :)

А догадается она через астрал, да? Поставь паузу между скачками, если так боязно :)

>Please do not use a web crawler

Please do not use a web crawler to download large numbers of articles. Aggressive crawling of the server can cause a dramatic slow-down of Wikipedia. Our robots.txt blocks many ill-behaved bots.

http://en.wikipedia.org/wiki/Wikipedia_database#Where_do_I_get...

>А догадается она через астрал, да?

Ну я думаю какие-то деньги Джимбо всё-же платит специалистам по безопасности и они наверняка придумали способ защиты от примитивного задрачивания их серверов. Вообще непонятно, зачем это нужно ТС.

> И что с ней делать? Как её читать?

http://blog.prashanthellina.com/2007/10/17/ways-to-process-and-use-wikipedia-...

С таймаутом, игнорированием и UA ты никак не отличишь от браузера. Просто из-за таймаута будет медленнее и всего делов.

О-хо-хо-хо-хо!!!!!

wget рекурсивно скачивает _только_ файлы. Файлов у mediawiki немного, и они вовсе не веб-странички, а скрипты. То есть такой трюк прокатит только в том случае, если странички сделаны в виде HTML-файлов. Плюс скрипты тебе скачать никто не даст - при обращении к скриптам с определёнными праметрами выдаётся результат выполнения.

Качай дамп википедии, и водружай у себя mediawiki.

ЩИТО?

а что не понятно, есть база, а читать её как мне сказали можно и нужно тем же движком.

> wget рекурсивно скачивает _только_ файлы. Файлов у mediawiki немного, и они вовсе не веб-странички, а скрипты.

Wget скачает все страницы, генерируемые этими скриптами. По разу для каждой комбинации параметров. Если пользователь попробует ставить ограничения на скачивание, будет качать и сразу удалять (известный баг). В общем, правильно запрещают.

Качай дамп википедии

Именно.