[PHP or similar]html to xml

Разобрать на запчасти (в любой структурированный вид) через DOM/XPath, потом полученный набор данных уже сохранить как угодно.

для выборки по DOM вроде требуется валидный xml с закрытыми тегами, чтобы ошибок не было? То есть - он пойдет дальше <hr />?

для выборки по DOM вроде требуется валидный xml с закрытыми тегами

Никогда не проверял с этой точки зрения, но интенсивно использую DOM для парсинга внешних сайтов. Ошибок пока не замечал. То ли сайты обычно валидные, то ли DOM в PHP обрабатывает невалидные корректно.

То есть - он пойдет дальше <hr />?

А что в <hr/> невалидного? :) (таки да, в этом случае — идёт).

если там <hr /> то норма

А для этой задачи есть XSLT.

А для этой задачи есть XSLT

И он умеет преобразовывать по не строгим правилам для вариативных входящих структур невалидный XML? :)

точно не знаю.

Невалидность можно исправить с помощю tidy.

Окей, спасибо!

tidy все равно ведь дает дополнительную нагрузку - мне же нужно очень минималистичное решение парсинга списка, удаляющее внутренние контейнеры <b> в одной строке, ну и вписывающее их в другую строку, разбивая на числовые значения и пару сиволов в другу строку..

в пыхе просто такой дом, заточенный

в пыхе просто такой дом, заточенный

При чём тут DOM, когда на счёт нестрогого формата — это уже XPath + код?

ты понял что я имел ввиду

Пыховский парсер распарсит любое Г. По работе нужно перелопачивать тысячи страниц, свёрстанных самыми разными и странными людьми, пока проблем не возникало. Проблемы возникали позже, когда это всё счастье надо собрать обратно в том или ином виде, а там, например, символы из разных кодировок.

Нужен именно XML на выходе?

Для скрейпинга постоянно юзаю simplehtmldom. Доволен. Удобно.

simplehtmldom у меня не завелся - не везет на простые решения. Все что требовалось сделал, правда не без помощи более знающих людей [juick@stanis]. Я ломал, он пояснял как правильно. Ну и в соответствии с моими знаниями вышла такая заготовка для preg_replace:

$lipattern = array("#<li><i>(.*)<\/i><\/li>#", "#<li>#", "#</li>#", "[: |:]", "[ \((.*)\)|\((.*)\)]", "[</strong>|</em>]", "[ <strong>|<strong> |<strong>|<em>]", "#&(.*);#");
$lireplace = array("список_почти_полностью_состоящий_из_' ' ");
// Ну и для затравки:
$result = preg_replace($lipattern, $lireplace, $lisource);

Это то, что я думаю?

Самое простое и быстрое: http://simplehtmldom.sourceforge.net/

Это как в жизни - пока человек не умеет мешать бетон, он связывает тростник и живет в нем. Когда нибудь я дойду до нормального разбора тегов, но пока рабочий вариант предпочтительнее нерабочего, хоть и правильного

Регекспы на больших кусках текста иногда начинают неожиданно тормозить и кушать память, особенно всяческие нелимитированные паттерны типа ".*". Именно поэтому я, хоть и люблю использовать регекспы, перед сравнением обязательно разбиваю исходный файл на не слишком большие куски (в приведенном примере - сделал бы explode по «<ul>»).

В скрипте сначала preg_match() идет, который вытягивает все строки с <li></li>, однако учитывая что затем идет еще один preg_match(); для <p></p>... В общем тормозит, но к тому времени когда количество текста перевалит за пределы более-менее нормальной обработки, я его оптимизирую. Возможно даже через DOM парсить буду. Но не сейчас