Использование grep, awk и sed для работы со «сплошным» текстом.

Классический еженедельный тред написания парсеров на malbolge и прочих регэкспах

2016-12-03
люди все еще пытаются парсить html регулярками

http://www.convertcsv.com/html-table-to-csv.htm

или открой свой хтмл в екселе и сохрани таблицу как csv. спасибопожалуста.

Люди бывают разными, разных специальностей. Я например врач и мне не нужно знать, что такая задача профессионально решается как-то по-другому. Поэтому я обратился к Вам на форум, к профессионалам. Это все равно что Вы бы зашли на медицинский форум и написали - «Пожалуйста, подскажите можно ли принимать антибиотики при вирусной инфекции?», а я бы Вам ответил - «Люди все еще пытаются лечить вирусные заболевания антибиотиками...», но совета бы так и не дал... пускай помирает...!

Проблема в постановке вопроса. Если я зайду на форум врачей, то я создам тему «Чем лечить вирусную инфекцию», а не «Как лечить вирусную инфекцию тетрациклином», а тут формулировка именно такая.

Хорошо, я понял. Тогда я рискну переформулировать вопрос. Как мне решить возникшую проблему, с помощью чего. Проблема в том, что таких файлов очень много и совет, который мне только что дали (перевести все в csv), к сожалению, не подходит. Тогда теряется изначальный смысл скрипта - помощь в рутинных задачах. Я не ленивый и не жду готового решения, мне достаточно совета, намека. Я с удовольствием покопаюсь на форумах и поищу ответ, если опытный человек подскажет, в каком направлении двигаться.

Спасибо Вам большое за совет, но в данном случае, к сожалению, это не выход из ситуации, так как таких файлов несколько тысяч. Проще просто с сайта копировать да и все. Но все равно спасибо за готовность помочь.

Не для awk/grep/sed эти данные. Ставь тэги python, BeautifulSoup(если такой есть), lxml. Таблицу распарсить достаточно просто, вот пример. Но это всегда очень индивидуально. Лучше предоставить шаблонный кусок или целую страницу, в которой таблица такая, как везде и на её основе сделать. Так же что конкретно доставать, куда и как сохранять.

Проще просто с сайта копировать

Что за сайт?

не слушай местных кукаретиков, парсить html регулярками можно

Если нужно просто убрать html-теги, то, например, так:

sed 's/<[^>]*>/ /g;s/<.*//;s/[^>]*>//' < file.html

Здесь используются 3 регулярки для sed:

1.

s/<[^>]*>/ /g;

2.

s/<.*//;

3.

s/[^>]*>//

Недостаток этого скрипта в том, что он корректно удаляет однострочные и двухстрочные html-теги, но вот трёх- и более строчные не удалит. Точнее удалит только первую и последнюю строку. Кроме того, он не удаляет комментарии и ява- и пхп- скрипты.

Но общий шаблон для самого простого случая я, надеюсь, дал.

grep -Po "<td>.+?</td>" example.txt | sed "s/<[^>]*>//g"

-P перловый синтаксис регулярных выражений для использования нежадного квантификатора +?

-o выводит только совпавшие части строки

Результат

妈，我可以看电视吗？
 mā, wǒ kěyǐ kàn diànshì ma?
Mum, can I watch TV?

А вы какой врач? Нам тут на ЛОРе психиатр часто нужен бывает.

:D дадада

lynx -dump, а потом уже grep, awk и sed

Распарсить html, как и любой xml, при условии его корректности, на баше даже без sed,grep и awk проще простого:

#!/bin/bash

rdom () { local IFS=\> ; read -d \< T V ; }

while rdom; do
    case $T in
        /* | \?* )
            ;;
        *)
            V=`echo "$V" | xargs`
            [ "$V" != "" ] && {
                echo $T \"$V\"
            }
            ;;
    esac
done

Этот скрипт, если скормить ему html

./htmlparse.sh < example.html

td «妈，我可以看电视吗？»
td «mā, wǒ kěyǐ kàn diànshì ma?»
span style=«font-style:italic;» «Mum, can I watch TV?»

Это если нужны только теги в которые заключено некое содержимое. Если заменить

echo $T \"$V\"

echo $V

妈，我可以看电视吗？
mā, wǒ kěyǐ kàn diànshì ma?
Mum, can I watch TV?

То есть нужно получить текст ТОЛЬКО между этими тегами? Если же нет и нужен весь текст то :D я немножко без грепов сделал))

#include <stdio.h>
#include <stdlib.h>
#include <string.h>

int stat = 0,
    out  = 0,
    in   = 1;

int main(int argc, char *argv[])
{
    for (int buff; (buff=getc(stdin)) != EOF;)
    {   
        if (buff == '<')
        {   
            while(buff=getc(stdin)!='>');
            stat = out;
            continue;
        };
           if (stat == out)
           {
                putc('\n',stdout);
                stat=in;
           };
           putc(buff,stdout);
    };
    return 0;
}

gcc grep.c;
dron@gnu:~$ echo "</td><td>妈，我可以看电视吗？</td></tr><tr><td></td><td> mā, wǒ kěyǐ kàn diànshì ma?</td></tr><tr><td></td><td><span style=«font-style:italic;»>Mum, can I watch TV?</span></td></tr><tr><td>" |./a.out 

妈，我可以看电视吗？
mā, wǒ kěyǐ kàn diànshì ma?
Mum, can I watch TV?

./a.out < file.html #вывод в терминал
./a.out < file.html > out.txt #вывод в файл

cat ./*.html | ./a.out > out.txt

Это будет работать быстрее чего угодно выше подсказанного, а если текст нужен выборочный, точно по тем шаблонам что ты указал, могу подправить. Так как фильтровать можно будет просто по сравнению строк, вывода только того что внутри именно этих шаблонов игнорируя всё остальное, но я не уверен что вместо font-style:italic будет font-style:normal по длинне подходит, а по смыслу уже нет или ещё тонна вариантов у меня на счёт стабильности твоих шаблонов в html, но если я не прав то можно)