[хочется странного] Карта википедии

Учитывая количество статей и количество синего текста в каждой — тяжко будет.

http://xkcd.com/214/

> А полученный граф нарисовать чем-нибудь из graphviz'а

graphviz не треснет?

Не треснет. Главное, чтобы хоть что-то разглядеть можно было, что он выдаст. И как удобнее будет, кстати, через wikipedia api, или просто выдирать нужные ссылки со страницы?

Я бы по-старинке выкусывал URL-ы регэкспами.

Я уверен, что такая таблица связей уже сидит в самой базе данных отдельно.

> И как удобнее будет, кстати, через wikipedia api, или просто выдирать нужные ссылки со страницы?

Скачиваем дамп базы и выдираем, проблем-то. Зачем здесь API не представляю. Кроме того, можно хорошо распараллелить задачу.

У них дамп базы открыто доступен?

> У них дамп базы открыто доступен?

Да, конечно. Я себе скачал.

>У них дамп базы открыто доступен?

Естественно

http://en.wikipedia.org/wiki/Wikipedia:Database_download#Latest_complete_dump...

Английская вики - 7z архив на 31Gb, распаковывается на 5Tb.

Получится одна сплошная рекурсия.

У нашей всего 16 гб. Как раз, к вечеру как раз скачается

> У нашей всего 16 гб. Как раз, к вечеру как раз скачается

И ещё её можно всю не распаковывать, читать софтиной прямо из архива. Производительность пониже, зато места не будет занимать столько. А параллелить всё равно придётся, иначе парсинг 16 ГБ может затянуться надолго.

Скорее, связный граф

Хм... откуда там рекурсия? Ну да, обход википедии можно и рекурсией, но не нужно.

я думаю, под рекурсией он подразумевает циклы в полученном графе. но от зацикливания спасёт отметка о том, что эту страницу уже распарсили

Карта получится слишком примитивной: в центре - статья о Гитлере, а вокруг неё - три кольца ссылок.