Хочу в аналитику и бигдату. Какой язык и инструменты выбрать?

Лол. А если серьёзно?

Django, для парсинга я обычно юзаю pyquery. Парсер просто парсит все разделы форума. Авторизацию не юзал.

Ну это, если ты уверен что у тебя получится - вперед. Потом расскажи только честно, что получилось.

Парсер просто парсит все разделы форума

Как тогда определяется «последнее сообщение»? Например, если в некротред написали?

Если серьёзно, то: 1) объём данных из сообщения выше - не big data; 2) как следствие, я бы порекомендовал написание велосипедов на более-менее стандартных инструментах. То есть, эдакая «mini big data». На таких объёмах это будет не очень заморочисто, плюс появится ценный опыт мышления и решения задач из этой области; 3) если будут действительно большие объёмы данных, то да, Hadoop, а R или не R - это дело вкуса, в других языках, вроде бы, есть неплохие библиотеки из той же оперы.

Естественно, это всё ИМХО, могу быть неправ.

И если начинать с малого, то с чего начать?

С ганглии :)

Там Id есть, но у меня там, емнип, просто последнее сообщение которое бот нашел.

Ну давайте прикинем: допустим, что на ЛОРе 10 000 000 сообщений итого. Даже если у нас каждое сообщение будет отображаться на отдельной странице (что, конечно же, не так), то с моей самой худшей производительностью (10 страниц в секунд) надо будет около 9,5 часов для выгрузки всего ЛОРа.
10000000/(10*30*3600*24)
С моей лучшей производительностью (около 100 страниц в секунду) около часа.
А если учесть, что сообщения отображаются не на страницу, то даже с худшей производительностью это займёт не более часа.

Я надеюсь, что не надо объяснять, что моё решение поддерживает авторизацию из коробки, защиту (на ЛОРе нет) от ботов из коробки, разработать его крайне просто (даже для самого кривого сайта), поддерживает JS-говно, любые изменения внести крайне просто, большинство изменений HTML-дизайна не приведут к неработоспособности.

P.S. Да, тут надо учесть, что не у всех есть кластер на работе. ;)

Ну ты теоретик просто :-)

Авторизация кстати за 3 минуты пишется.

Ну ты теоретик просто :-)

Обоснуйте ошибочность моих суждений.

Авторизация кстати за 3 минуты пишется.

CSRF на ЛОРе, если мне память не изменяет, в куке и в POSTe. Но я хз. Во многих случаях, он ещё меняться иногда может (я встречал вариант в HTML5-хранилище. После загрузки страницы делается проверка JS-скриптом. Если нет поля - выкидывает с сервера). Или для Вас это не проблема?

Добавьтесь ко мне в джаббер, кстати. Там есть аниме, сиськи и неформальное общение.

У тебя расчеты для идеального случая в вакууме.

Csrf не проблема. Попозже могу показать авторизация для Лора, там несколько строк на питоне.

У тебя расчеты для идеального случая в вакууме.

Обоснуйте. Или Вы считаете, что сервер не может вытянуть пару десятков браузеров в секунду?

Ты просто думаешь что сервер тебе всегда будет идеальные страницы за 50мс выдавать, а это не так. Он может выдать пустую страницу, 500-ю ошибку, думать секунд 40 и т.д. На Лоре еще qrator юзается он твой кластер сразу и побанит. В общем в сети слишком много условий влиять на которые ты не можешь.

А у ходупа он неменьше как минимум:) И никто ж не требует читать его весь)