Как парсить ЛОР?

lor-api насколько я понимаю сейчас активно пилится. Вполне возможно что и нет пока такого.

maxcom

LOR-API не готово. И, как я понял, не будет готово никогда.

А то был бы уже у каждого свой ЛОР, на юзерскриптах.

Так у тебя вроде и так.

Ясно :(

Кстати, просто отдавать список тем форума и список сообщений темы — только базовые требования к API, одних их совершенно не хватит! Нужно еще:

• отдавать список тем (как по конкретному разделу, так и по всему форуму), появившихся после времени Х;
• список сообщений в теме, появившихся после времени Х;
• цепочку "родительских" сообщений для данного глубиной У;
• ...

думаю, еще много чего можно придумать, без чего нормального API не получится.

Если бы было API, я бы сделал лучше!

Например, я хочу сделать вывод сообщений в виде "бесконечной ленты"; автоматическое добавление новых сообщений (чтобы не перезагружать всю страницу); возможность динамического переключения в древовидный вид или отображения только выбранной ветки комментариев; полноценную фильтрацию трекера…

Второй пункт можно и на стороне клиента сделать, не нагружая лишний раз сервер.

Как? Скачивать все сообщения темы, а потом выбирать нужные? Нет уж, это слишком накладная операция! Этим сервер должен заниматься: ему все равно запрос к БД делать, так не пофиг ли, будет это запрос на все сообщения темы (а если их дофига, то получится намного медленнее) или на сообщения после определенного времени?

Ну это если полноценный API. Хотя бы json доделали бы, не убудет от пары мегабайт озу и 20 кб трафика.

А ты представь себе: тягать каждые секунд 30 тему с парой тысяч сообщений целиком! Неплохо? А ведь бывают темки и "потяжелей".

Ага, кажись нашёл. Надо в настройках выставить максимальное количество постов на страницу и открыть тред со своими куками. В браузере, по крайней мере, работает.

Тут я с вами согласен, не подумал. Но на безрыбье и рак рыба.

на безрыбье и рак рыба

Ага, а на безбабье и рыбу раком ☺

все сущности тебе никакое апи не отдаст, это Н сложность, напиши парсер сам на чем угодно, сначала они сделали гипертекст как универсальный формат а теперь им нечем его парсить

Да мне прям API как у vk не надо, просто хотя бы в json получить весь тред, а список тредов lxml разберет. То, что я писал выше про настройки, нормально сработает только до 500 постов, потому что установили ограничение из-за большой нагрузки. Там где-то в обсуждениях прочитал уже потом :(

Даешь патчи!

тягать каждые секунд 30 тему с парой тысяч сообщений целиком!

Надо чаще, а то ведь на ЛОРе сообщения часто исчезают. Вообще надо вытягивать контент из ЛОРа, перекладывать его на другой хостинго и обсуждать уже там, без всяких самодуров-модераторов.

ЛОР на жабе написан ☹

Не только появившихся, а ещё и изменившихся. Не забываем, что сообщения редактируются и удаляются.

Я просто html паршу для http://lor-stat.com, изменения не учитываю.

какая разница что хтмл что жсон

Проще разобрать словарь, чем мучится с xpath.

Ага, видел ваш тред. Но у вас же парсинг не на лету.

можно написать сводку правил, которая по объекту жиквери будет составлять словарь, там не так много работы как кажется,если тебе это действительно нужно, никаких проблем с этим нет, с другой стороны, если влом даже это сделать, тебе это не понадобиться

Я не совсем понимаю о чем вы говорите. На Pyhon модулем requests json парсится на ура. Остальной поток сознания я, увы, не понял.

ну ты где-то про питон вспоминал? раз тебе «не охота возиться с xpath» то тебе и апи не нужен, вот мой месседж

зы. уж не знаю кто крмое тебя json модулем requests парсит