parser html

tidy?
Оно есть на питоне?

Но я, когда парсил некий быдлосайт (не будем показывать пальцем на samlib.ru), долго его парсил, вроде заработало.. и..
Падало, если автор хотел себе «красивую» страничку и пихал <center> в «сведенья об авторе», который так и не закрывался до конца страницы. в результате за 2 дня написал регэксп и доволен.

xhtml - true.

в результате за 2 дня написал регэксп и доволен

Месье уверен, что следует пытаться распознавать конечный автоматом контекстно-свободную грамматику?

/me использует lxml и scrapy

ИМХО, там это и нужно делать.

Почему ты так думаешь?

А какие есть предложения?

Распознавать контекстно-свободную грамматику парсером контекстно-свободных грамматик, вестимо.

каким?

Их как грязи. Откуда ж я знаю какой из них будет лучше в твоих условиях.

ugoday дело говорит, используй специализированные инструменты типа lxml. регекспы это круто и хорошо, но не для парсинга нерегулярных грамматик.

Ты не в Бангалоре живешь, случаем?

http://www.codinghorror.com/blog/2009/11/parsing-html-the-cthulhu-way.html

http://stackoverflow.com/questions/1732348/regex-match-open-tags-except-xhtml...

Я не парсю html. Мне нужно было достать от туда часть контента.

fail. s/дня/часа/

Это и есть «парсить». Только идиоты достают «часть контента» из HTML или XML регэкспами.

Из xml да, а html - быдло. Я пробовал использовать tidy, пробовал писать сам. Вот xhtml - другое дело, но он не особо много где есть..

Для вас всех придумали html5lib, а вы его даже в треде не упомянули.

А он, между прочим, умеет разные интерфейсы, например ElelmentTree (через питоновский вариант и через lxml) и даже minidom.

Может есть какой то способы сделать это проще?

Вот проще elementtree и minidom нет ничего.

Странно, что HTMLUnit никто не упомянул

> Из xml да, а html - быдло

Вот xhtml - другое дело, но он не особо много где есть..

Что-то я могу сходу понять в чем проблема. Не смогли осилить ни один из существующих невалидирующих html-парсеров?

Можно примеры?
И как в них все выглядит?
Мне удобна древовидная структура, но с невалидирующими я не очень представляю, адекватно ее составить.

> но с невалидирующими я не очень представляю, адекватно ее составить.

Они сами составляют всё тот же DOM, от тебя ничего особо и не требуется. http://xmlsoft.org/html/libxml-HTMLparser.html - парсер из состава libxml2, та же lxml, кстати, на базе libxml2, так что в ней соответствующие возможности есть.

Мне удобна древовидная структура

В большинстве случаев для работы с DOM гораздо удобнее и проще использовать XPath, чем непосредственно обрабатывать дерево.

Можно примеры?

Ну, только на CL :), например - http://archimag.lisper.ru/permalink/posts/5d5b8153d7cda087893f3aef8210d73afac....

Тебе как справку это использовать? Если да, то чем не угодил исошинк мсдн-а из торрентов?

python+sgmllib,libxml2

Не все регэкспы конечные автоматы ;) В интернет можно найти примеры для вложенных скобок. Правда выглядят они не айс.

Тьфу. Я хотел сказать не все регекспы детерминированные КА, ну надеюсь вы поняли.

Это неправильные регекспы, я их презираю.