Какой предложите способ для вырезки текста статьи из html страницы?

s/<[^>]*>//

w3m -dump / что-нибудь вроде scrapy / прокси (html -> xhtml) + xslt

libpcre

смишно

Бери одну из реализаций readability. Даёт приличный результат, хоть и не всегда.

http://code.google.com/p/arc90labs-readability/

Вот, например, вполне рабочая версия для питона: https://github.com/gfxmonk/python-readability

Есть реализации для других языков, гугл в помощь.

scrapy для питона как я понял, вроде штука неплохая, но это всетаки фреймворк для построения парсера, а мне нужен именно алгоритм вырезки большого текста из страницы.

Прокси тоже не выход, алгоритму ведь заранее не известен формат страницы, какие в ней есть блоки и т.п. Или есть функционал о котором я не знаю и задачу можно решить при помощи xslt?

Почему libpcre смишно? =)

Что - то слегка погуглив не совсем понял назначения этой штуки, в чем оно?

Что - то слегка погуглив не совсем понял назначения этой штуки, в чем оно?

Вырезает «основной» текст из страницы, придумано для удобства чтения. Там в комплекте к питоновской версии есть консольная утилита вроде как, попробуй.

По собственному опыту - на стандартных страницах (текст, header, боковые блоки и footer) не ошибается почти никогда. На форумах ошибается часто, и оставляет только первое сообщение в треде.

Спасибо, вроде почти то что мне и было нужно, еще бы было оно в исходниках на Си, ато переписывать ой как лень)

Спасибо, вроде почти то что мне и было нужно, еще бы было оно в исходниках на Си, ато переписывать ой как лень)

Я добрый, потому поработаю заменителем гугла. Но только один раз!

https://github.com/fiam/readable

Только там AGPLv3.

Низкий Вам поклон, целую в пятки! Это то что мне нужно!

links -dump

выдаст текстовую составляющую страницы. Но это только если страница не ajax :)

другой способ - WebKit в котором отработают все скрипты страницы, а после того ручной проход по DOM дереву, с запросом результатов рендера и генерация (через tex очевидно) блоков текста. Но это @опа - только если есть навалом времени и бюджет IDKFA

А авторам сайтов с текстами, не мешало-бы правильные шаблоны делать под media=print.

Почему libpcre смишно? =)

re - на уровне конечного автомата, языки разметки, емнип - контекстно-свободной грамматики.

но это всетаки фреймворк для построения парсера, а мне нужен именно алгоритм вырезки большого текста из страницы

была оговорка _что-нибудь вроде_, может вам вообще xpath хватит.

Прокси тоже не выход, алгоритму ведь заранее не известен формат страницы, какие в ней есть блоки и т.п.

Прокси тут только чтобы на выходе был валидный xhtml.