С какой скоростью можно дергать ЛОР? Или где-то уже лежит полный архив, хотя бы месячной давности?

Кстати, Википедия регулярно делает и предоставляет дамп своей базы (за исключением паролей :-)

Популярные темы живут во внутреннем кеше сайта и их генерация почти не нагружает сервер. Старые темы нужно тянуть с некоторым ограничением по количеству запросов (скажем не чаще десяти запросов в минуту).

В любом случае робот должен тянуть контент в один поток. Заголовоку Last-Modified для топика можно верить, дата обновляется при любых операциях.

>скажем не чаще десяти запросов в минуту

О большое спасибо, давно мучался этим вопросом

И все сразу подумали об одном и том же ? ;)

Может сделать дамп базы (без паролей, удалённых итп) достоянием общественности ?

Для http://en.wikipedia.org/wiki/Corpus_linguistics очень полезно.

"njuj ytkmpz ltkfnm, поскольку тогда кто-нить организует ресурс, дублирующий ЛОР, но с адекватной модерацией и пользователи переползут туда..

Сорри, переключалка тормозит..
"njuj ytkmpz ltkfnm = этого нельзя делать

не переползут. Паролей то нет. Тоже самое можно crawler'ом cделать, только геморроя больше.

> не переползут. Паролей то нет.

Ну те, кого колбасит регаться - перезарегаются на новом ресурсе. И отвечать будут там. А здесь только ссылки на ответ давать типа ответил на это там-то - потому, что тут всё трут без разбору несколько неадекватных модераторов. Так все и переедут. По этому ни в коем случае нельзя давать свободный доступ к базе сообщений.

> Тоже самое можно crawler'ом cделать, только геморроя больше.

Им "удалённые" из базы не вытащишь.

онанист штоле? o_O