Можно не регулярками, а преобразовать в plain text с помощью curl. Вариант?

ЗЫ Ну или не с помощью курла, а как его дьявола, не помню, какой-то текстовый браузер короче...

lynx, links, links2

Что они могут с ним сделать?

Ну можно, но как я нужные данные потом найду в этой каше?

Я ответил про преобразование в plain text.

Парси регулярками.

Парси регулярками.

Ну как..Неужели ничего лучше не люди придумали?

Руками поправить, чтоб проходил валидацию

Так можно и руками нужные данные копипастить из браузера, раз на то пошло.

MS Front Page, MS Word, LibreOffice Writer для допиливания -- вариант применить?

Мне нравится Beautiful Soup в питоне.

Неужели ничего лучше не люди придумали?

Тебе дают универсальный инструмент, а ты выкобениваешься. Там ничего сложного:

grep_search_files="    grep 'Post.register' | egrep -o '\"file_url\":\"[^\"]+'    | cut -c 13-"
grep_search_tags="     grep 'Post.register' | egrep -o '\"tags\":\"[^\"]+'        | cut -c 9-"
grep_search_ids="      grep 'Post.register' | egrep -o '\"id\":[^,]+'             | cut -c 6-"
grep_search_scores="   grep 'Post.register' | egrep -o '\"score\":[^,]+'          | cut -c 9-"
grep_search_descs="    grep 'Post.register' | egrep -o '\"description\":[^,]+'    | cut -c 15-"
grep_search_rating="   grep 'Post.register' | egrep -o '\"rating\":\"[^\"]+'      | cut -c 11-"
grep_search_width="    grep 'Post.register' | egrep -o '\"width\":[^,]+'          | cut -c 9-"
grep_search_height="   grep 'Post.register' | egrep -o '\"height\":[^,]+'         | cut -c 10-"

не проходит валидацию у xmllint и tidy

я не понял, tidy его совсем распарсить не может, или просто показывает что есть ощибки?

Использовать парсер толерантный к ошибкам? Ну там, Beautiful Soup например

Ну и да, в регулярках нет ничего плохого, если надо просто выдрать часть информации, а не строить DOM полностью

Обмылок при некорректном html начинает себя непредсказуемо вести. Я его как-то раз юзал для полсотни недокачанных страниц. В зависимости от степени докачанности субноды уходили то в одни кучеря, то в другие.

В общем случае: забить на валидацию и юзать какой-нибудь Beautiful Soup, html5lib или lxml.

пригодное для обработки

чем и на чём?

Показывает, что есть ошибки.

Хоть на чём и хоть где. xpath/json/etc

lorcode и заставить парсить автора лоркода в наказание.

ты знаешь что его как парсер можно юзать? через перловый модуль HTML::Tidy, например

А какая мне разница, где он будет срать ошибками?

Возьми любой из упомянутых питоновских модулей и просто попробуй. Даже если ты не в ладах с питоном — пошаговых мануалов по теме «python webscraping» вагон и тележка.

Ну или кусок файла покажи, а то я не понимаю эти страдания по поводу некорректности документа.

curl http://www.vl.ru/vladivostok/taxi-transport-delivery/auto-shops

В смысле? Он распарсит твой невалидный HTML

Ну, ок. Попробую им.

На счёт недокаченых не знаю (всё-таки это уже экстрим), а вот обычный невалидный HTML (т.е. обычный HTML :) он хавает нормально. Там только надо правильный парсер в нём выбрать, что-бы он игнорил ошибки

Оно прекрасно парсится супом. У каждого элемента свой класс, никаких проблем быть не должно.

Ещё есть вариант попробовать понять что именно в документе делает его невалидным (порой это какая-то мелочь) и попробовать удалить это регулярками перед тем как скармливать текст парсеру

Да-да, держите нас в курсе. Там в примере обычный html5, между прочим:

$ tidy auto-shops 2>&1 | grep Error
line 135 column 17 - Error: <header> is not recognized!
line 136 column 17 - Error: <section> is not recognized!
line 190 column 9 - Error: <noindex> is not recognized!
line 333 column 9 - Error: <section> is not recognized!
line 335 column 25 - Error: <main> is not recognized!
line 342 column 9 - Error: <noindex> is not recognized!

Ну и маразмы по типу такого:

'\n\n\t\t\t\t\t\t\t\t\tАвтонародный\n\t\t\t\t\t\t\t\t\n'

тут уж только автозаменой.

Имхо, ТС просто решает эту задачу в первый раз и не хочет в программирование. Тут я даже не знаю что советовать, может проще будет тот же ParseHub под оффтопиком запустить?

lorcode и заставить парсить автора лоркода в наказание.
парсить автора лоркода

Парсер выполнил недопустимую операцию и будет закрыт.

Шизофреник

автор лоркода должен парсить свой же лоркод

автор лоркода должен парсить свой же лоркод

Пожизненно.

Имхо, ТС просто решает эту задачу в первый раз и не хочет в программирование.

Неправда. Решаю не в первый раз, хочу сделать по-людски, а не как обычно.

Не. Я ищу какой-нибудь инструмент, который может что-нибудь типа

curl mysite.com | htmlparser --xpath "//alala/lala/" 

А, ну удачи в поиске

Python + Beautiful Soup, как вариант.

curl mysite.com | htmlparser --xpath «//alala/lala/»

Так не выйдет, одним xpath'ом жив не будешь — что-то понадобится в цикле обходить, что-то корректировать, фильтровать и т.п.

хочу сделать по-людски, а не как обычно

Так всё уже озвучено, потребуется:

• python3 и базовое знание python
• модули на выбор:
  • lxml
  • BeautifulSoup
  • html5lib (не пробовал, но говорят, что неплох, особенно на битой структуре)
  • selenium + phantomjs || firefox (оверкилл, присутствуют баги в драйвере файрфокса, зато работает на движке браузера, соответственно умеет интерпретировать javascript)
  • scapy (как-то у меня до него руки не доходят, причем всё время).
• удобный интерпретатор для тыкания в интересующие объекты на живую (ipython3 или idle3)
• какое-нибудь IDE, можно просто Sublime c Jedi и SublimeLinter-flake8

З.Ы. В свое время неплохо работала связка из перлового WWW::Mechanize::Firefox + MozRepl + HTML::TreeBuilder::XPath, но оно уже умерло, имхо.

З.З.Ы. Пару примеров из гугла (для начала):

• https://habrahabr.ru/post/280238/
• http://python-3.ru/page/parser-html-python
• https://medium.freecodecamp.com/how-to-scrape-websites-with-python-and-beauti...
• https://www.analyticsvidhya.com/blog/2015/10/beginner-guide-web-scraping-beau...

Устанавливаешь HTML-XML-utils (http://www.w3.org/Tools/HTML-XML-utils/)

curl -s https://www.linux.org.ru | hxnormalize -x | hxselect div#loginGreating

Юзаешь CSS-селекторы.

https://www.youtube.com/watch?v=nsBByTiKfyY

Да, это то, что надо, спасибо.

Так не выйдет, одним xpath'ом жив не будешь — что-то понадобится в цикле обходить, что-то корректировать, фильтровать и т.п.

Это мелочи.

Так всё уже озвучено, потребуется:
....
........
............

Я пока ждал ответ уже кослытей на пёрле наделал с регулярками. Но каждый раз писать что-то сильно сложнее однострочника всё равно желания особо нет.

Спасибо, интересный набор. В простых случаях — самое то. Записал себе в список пакетов для обязательной установки.

beatifulsoup не нравится?

Нет.

headless chrome? :-)

Слишком жирно.