Парсинг последних новостей

Храни хеши. Но помни про коллизии.

Звучит как кейс для rss-читалки.

Ты про rss не слышал? Это то, что тебе нужно.

Обясни в двух слова про то и то, но чтоб понятно.

Пит буль

как это сделать более элегантно, кроме сохранения содержимого в файл и постоянного сравнивания «если было, то…»

Храни хеши содержимого файла (сообщений) и сравнивай хеши того что ты парсишь с тем что у тебя есть. На это надо меньше места на жестком диске. Если тебе надо хранить содержимое, то возможно тоже есть смысл сравнивать хеши, чем искать по всему файлу, ну или обмазывайся СУБД, где всё за тебя посчитали и оптимизировали.

Это всё ещё не реально. Что бы кто не думал про достижения в области нейросетей и работы с текстами, вроде GPT-2, понять что текст про одно и тоже почти не возможно. А если это станет возможно, то этот софт можно будет монетизировать за астрономические деньги - проверка фактов и персональные достоверные новости с каждым годом всё более желанный продукт. Вот пример двух заголовков:

1. Мужчина упал с балкона вслед за кричащей женщиной в Твери
2. В Твери женщина вышла с балкона, а мужчина - следом за ней

Подходов можно много придумать - от упомянутых хешей по телу (что гарантировано даст спецэффекты из-за апдейтов текстовок) до индекса по урлам или через работу с курсором (если нет задачи работы с архивом и «прочитанностью»).

Но основная проблема - сам парсинг. Rss ТС не уважает, а открытым (бесплатным) api обладают всего несколько новостных сайтов.

А значит ТС будет совокупляться с html-парсингом,то есть гарантировано будет страдать и плакать.

GPT-2

прошлый век, на дворе GPT-3 и оно гораздо круче

Тут всем надо пользоваться.

Тут и человек не докажет тождественности без проверки фактологии.

та да, rss это уже старье со многими недостатками

нет ничего плохого в html-парсинге. Проблема в другом: отделить нужный ТСу новостной контент от всего остального.

я не говорил о фатальных.

Rss мертв https://habr.com/ru/company/wirex/blog/411811/

rss давно пора закопать именно по причине смерти и того что он устарел морально.

Ну хоть кто-то с мозгами…

Что употреблял?

А значит ТС будет совокупляться с html-парсингом,то есть гарантировано будет страдать и плакать.

Ничего подобного.

кстати не встречал НИ ОДНОГО новостного сайта, который бы размещал новости в правильном хронологическом порядке. все они периодически публикуют новости задним числом (т.е. через какое-то время могут разместить новость, которая по времени пред-пред-идущая, хотя изначально её там не было). а пересмотрел я новостных сайтов несколько десятков самых известных. правда было это года 4 назад, как сейчас я не знаю.

https://archlinux.org/ – один из сайтов.

под новостными сайтами я имел в виду новости политические

Я не программист. Но когда я последний раз занимался подобным, то я получал список ссылок последних новостей с ресурса и искал в нем ссылку последней новости в моей локальной базе новостей. Если находил - добавлял все новости новее по списку и сохранял url самой новой новости для последующего применения. Если в списке свежих новостей не находилась ссылка на последнюю новость в моей базе данных, то запрашивал несколько новостей постарее и так до результата.

Сразу становится понятно, что схема ненадежна, особенно если ссылки на новости могут быть удалены или изменены, или если новые новости добавляются не только в самый конец списка, но для меня это не имело большого значения, потому что делалось для личного применения.

да тут лучше бы получить доступ напрямую к базе данных сайта.

ну если бы мне очень нужна была такая фича то решил бы так:

google alerts на почту уведомление об избранных новостях а потом тупо парсить то что гугл пришлет (и это будут самые актуальные новости). http://python-3.ru/page/imap-email-python

Открой для себя RSS.

ненадо никому советовать это поделие 1995 года еще.

1995 года еще

И? Тебе приходит по сути ХМЛ с текстом и прочими атрибутами, а дальше делать в три пинка можно. Или ты предлагаешь «стильно модно и молодежно» парсить хтмл целиком?

rss давно пора закопать именно по причине смерти и того что он устарел морально.

Оно работает, работает как надо, и делает то, что нужно ТСу. Откуда такая навязчивая идея закапывать все «старое»? Ты еще музыку как днасек начни только новую слушать.

во первых rss например у лажевого форума phpbb можно отключить.

Проблема в другом: отделить нужный ТСу новостной контент от всего остального.

В RSS такой проблемы нет. И парсить структурированный ХМЛ гораздо проще и быстрее, чем разбираться в дом-каше хтмл.

во первых rss например у лажевого форума phpbb можно отключить.

И? Если сервис с новостями предоставляет тебе удобный интерфейс для их агрегации, почему бы им и не воспользоваться? Если нет - другой вопрос.

Ты еще учти, что в случае с RSS тебе нужно только разбирать примерно одинаковые ХМЛ, а в случае с голым хтмл придется копаться в каше из дивов, причем для каждого сайта они будут разные. То есть для каждого сайта свой парсер, тогда как для RSS он будет один.

версии xml меняются и контекст получаемый тоже.

версии xml меняются и контекст получаемый тоже.

Парсить ХМЛ все равно проще, чем копаться в каше из дивов.

А, что, появилось что-то лучше RSS?

хуже просто трудно найти)

Так и думал, что лучшая альтернатива не будет названа.

Точно, а еще темная сторона будет каждый раз ломать парсер, вешать капчу и плавить мозги рок-музыкой пока человеки не начнут использовать инструмент по назначению.

Atom

Так это ж то же самое.

Эмм, нуу, если отойти и сильно прищуриться, то они оба feed formats.

А ты хотел что-то лучше RSS, но не feed format? Тогда соленая карамель.

да он дорвей хочет построить

Забавно, конечно, смотреть на вас, хипстеров. В то время когда одна половина штудирует научные труды и технологии 70ых и 80ых, вторая готова выкинуть всё, что создано до 2010-ых.

нет ничего плохого в html-парсинге.

+1.

Проблема в другом: отделить нужный ТСу новостной контент от всего остального.

Надо просто научиться в Xpath. Очень хороший гайд есть, например, в MSDN. Но придется потратить время, чтобы сочинить выражения для каждого сайта.

Но придется потратить время, чтобы сочинить выражения для каждого сайта.

Пфф, задача «написать парсер» решается за 5-10 минут, при грамотно подобранном инструментарии.

А вот мониторинг актуальности парсера и оперативное решение проблем с ним - вот тут кроется истинная сложность задачи.

Не спойлерите этим забавным господам. Через пять лет расскажем им про пуши и вебхуки (да, уже есть новостные сайты, которые готовы работать и так с Клиентами).

Парсинг последних новостей

import news rss = News.read(last(«cnn.com»)) print(rss)

Для начала, я хочу получить ответ от господина, напиравшего на «моральное устаревание» RSS. Потому как по мне — атом или рсс это всего лишь малозначимые и неинтересные детали реализации.

Делал подобную задачу несколько лет назад. Реализовал таким образом:

• Для получения новых статей (новостей) проверял RSS сайтов (но нет никаких проблем вместо этого смотреть sitemap.xml) и брал оттуда список адресов страниц за последние несколько дней
• Реализовал шаблон проектирования «стратегия» с правилами парсинга для каждого сайта (стратегию по домену выбирал).
• Статью сразу публиковать не стоит (т.к. бывают косяки) - нужно в админке сделать возможность отклонять статьи (занося их URL в чёрный список) перед публикацией.
• Картинки надо скачивать к себе и в тексте статей подменять ссылки. Потому что если у тебя сайт с SSL, а ссылка на картинку http, то юзер в браузере будет видеть красный замок в адресной строке (ну или ещё как-то так будет отображаться ошибка SSL, не суть важно). Можно упростить задачу, если заюзать imgproxy, перед которым воткнуть Nginx, включив кеш картинок, но ссылки в текстах статей всё равно надо подменивать.

Алгоритм работы был следующим:

• Раз в сутки читал RSS всех сайтов, которые надо парсить, и выбирал оттуда ссылки статьи за последние несколько дней.
• Циклом проходил по полученному списку и проверял наличие адреса страницы в моей базе данных.
• Если адреса нет в таблице БД, то запускал парсинг, по домену выбирая нужную стратегию. Из HTML вырезал ненужные теги, скачивал к себе картинки, а в тексте статьи менял ссылки на них на свои.
• Сохранял статью в таблицу БД, не забыв сохранить адрес источника (в дальнейшем по нему определял, есть у меня такая статья или нет).

Сложность тут в том, что предусмотреть всё невозможно. HTML статей бывает кривым, более тогда иногда меняется. Иногда появляются новые блоки типа твиттер-виджета или рекламы - и из-за этого стратегии парсинга нужно регулярно обновлять, чтобы это всё корректно обрабатывать. Иногда в RSS попадает ссылка, которая редиректит хрен знает куда. То есть сделать и забыть тут не получится - придётся постоянно это дело поддерживать и допиливать. Также необходимо придумать способы обхода различных блокировок: разгадывать каптчу, юзать прокси и т.п.

нет ничего плохого в html-парсинге

Ты эту задачу делал? Я - да. Геморрой полный парсить HTML. Одно дело распарсить один раз, другое - поддерживать это всё. Дизайн сайта поменяли - и лесом идёт твой парсер. И происходит это гораздо чаще, чем кажется.

Херота эта статья.