http://ofb.net/~egnor/xml2/

Ничего лучше для выкусывания из html данных с помощью awk и sed не видел.

http://search.cpan.org/~gaas/HTML-Parser-3.69/

ставить целую библиотеку только ради того с чем легко справится не очень сложный регэксп? это как-то не спортивно

Если он не очень сложный, хватит разглагольствоать, садись писать его.

ах если бы я только умел писать корректные регэкспы.... при попытке разобраться как их писать у меня начинает плавиться мозг

А, ну с этого и надо было начинать. В общем-то однострочником тут скорее всего не обойдёшься, а в либе которая умеет дом можно просто взять document.body.innerText

в топике описаны достаточно чёткие и однозначные правила обработки входного потока, которые можно применить последовательно, только в обратном от описанного порядке, и какое из этих правил невозможно обработать однострочником?

В теории - никакое. На практике скорее всего споткнёшься о вложенность, невалидность вёрстки и другие прелести. Хтмл нельзя парсить регэкспами.

Я щас парсю разметку вики, тоже казалось бы, правила простые, но однострочником мой велосипед никак не назовёшь...

Так в чем проблема? Если не хочется использовать HTML::TreeBuilder и тп., то просто пишешь набор регулярок какие надо и все...
ну и http://stackoverflow.com/questions/1732348/regex-match-open-tags-except-xhtml...

Я так понимаю, тебе нужен html2text? Может его и использовать?

не то чтобы уж очень нужен, но загорелся идеей сделать аналог html2text с использованием только sed (а больше и не нужно) для комфортного серфинга по сети там где в принципе невозможно поставить какие либо дополнительные библиотеки

и даже почти уже сделал но конструкция вида

 
sed 's/<script[^>]*>[^<][^\/][^s][^c][^r][^i][^p][^t][^>]*<\/script>//g'

А мне мама в детстве говорила, что нельзя конечным автоматом обрабатывать тексты, порожденные контекстно-свободными грамматиками.

не мешайте человеку завтракать кактусом

Что это? Регэксп скорее должен быть таким:

<script[^>]*>.*?<\/script>

Я бы сделал обработку текста в несколько этапов.
С начало вырезать из текста все script css...
Потом заменить все «<a href=»http://site.ru«>blablabla</a>» на «blablabla - http://site.ru"
А потом уже убрать все остальные теги, поставить переводы строки...

вставляя символ перевода строки после каждого блока

Если на регэкспах, можно попробовать заменять все </p>,</div>,<br> на \n. Остальные теги просто удалять.
Непонятно как быть с таблицами.

Общего решения для вех сайтов на одних только регэкспах не получится.

Что это? Регэксп скорее должен быть таким:

а что в нём означает знак вопроса "?" !?! так для общего развития но в любом случае этот регэксп не отрабатывает, чтобы отвязаться от необходимости учитывать множественного вхождения тега </script> в строке проще разбить строку както так:

sed 's/<\/script>/<\/script>\n/g' | sed 's/<script.*<\/script>//g'

и вообще вот не причёсанный вариант:

wget -q -O - http://linux.org.ru | tr -d "\n\r\f" | sed 's/<!--[^-][^>]*-->//g' | sed 's/<script[^\/][^>]*\/>//g' | sed 's/<\/script>/<\/script>\n/g' | sed 's/<script.*<\/script>//g' | sed 's/<style[^\/][^>]*\/>//g' | sed 's/<\/style>/<\/style>\n/g' | sed 's/<style.*<\/style>//g' | sed 's/>/>\n/g' | sed 's/<[^>]*>//g' | sed '/^\s*$/d' | sed 's/\&[^\;]*\;/ /g'

вечерком попробую причесать и подумать над тегом <a>

Иди лучше xpath осиливать.

а что в нём означает знак вопроса "?"

Не жадная квантификация, тоесть .* остановится сразу как встретит первый </script>. На вики хорошо описано.

С sed'ом разобрались, получив красивенький скриптик:

wget -q -O - http://linux.org.ru | sed ':a; /$/N; s/\n//; ta' | sed 's/<!--[^-][^>]*-->//g;s/\&[^\;]*\;/ /g;s/<script[^\/][^>]*\/>//g;s/<style[^\/][^>]*\/>//g' | sed 's/<\/script>/<\/script>\n/g;s/<\/style>/<\/style>\n/g;s/<br/\n<br/g;s/<\/div>/<\/div>\n/g;s/<a /\n<a /g;s/<\/a>/<\/a>\n/g' | sed 's/<script.*<\/script>//g;s/<style.*<\/style>//g;s/<a\(.*\)href=\"\([^\"]*\)\"\([^>]*\)>\(.*\)<\/a>/\4 \( \2 \)/g' | sed 's/<[^>]*>/ /g' | sed '/^\s*$/d;s/\ \{1,\}/ /g'

теперь можно и в AWK поковыряться

Классика жанра

Попробуйте нарисовать регекс для проверки правильности скобок в арифметическом выражении.

который отображает лор даже лучше FireFox'а

На тот случай, если ты все же не толстячок: w3m -dump -T text/html

man sed

нельзя распарсить с помощью регулярных выражений нерегулярную грамматику. xml уже нерегулярный, не говоря уже про html.