Хм, а это точно не какой-нибудь известный формат, под который есть парсеры? И элементы действительно разделяются сначала точкой, а потом косой чертой?

A это точно не какой-нибудь известный формат, под который есть парсеры?

Не знаю. Я, можно сказать, начинающий в задаче парсинга, поэтому мне не известны стандарты и соответствующие им готовые решения. Мне довольно редко приходится обращаться к этой задаче. В 90% случаев хватает малых познаний в sed, но иногда попадаются и такие задачки, как эта.

И да, элементы действительно разделяются именно так. По крайней мере именно в этом конкретном случае.

PS

На худой конец можно будет пройтись по итоговой таблице вытирая лишние символы. Задача так или иначе разовая.

Точки после элемент1 удалишь и табы в нужных местах расставишь сам, вместо домашнего задания :)

Красиво. Можно ссылку на источник или учебник (желательно на русском, так как мой английский всё ещё не позволяет учиться без словаря)

http://www.amazon.com/The-AWK-Programming-Language-Alfred/dp/020107981X

Есть ли на русском, не знаю. PDF-ка оригинала раньше в сети гуляла (вроде даже на cat-v)

1) У меня ключ содержит пробелы. В итоговую таблицу попадает не весь ключ, а только его начало (до первого пробела).

2) Этот парсер не работает в конвеере bash. Наверное, потомучто у меня в элементах присутствуют спецсимволы, типа «&», одиночных кавычек.

Без более точных требований достаточно просто сделать

$ cat parser.awk 
#!/usr/bin/awk -f

BEGIN { FS = "[./ ]+"; OFS = " [tab] " }
NR == 1 { key = $0; next }
NF == 1 { category = $1; next }
{ print key, category, $1, $2, $3 }

$ ./parser.awk input.data 
КЛЮЧ1 [tab] категория_1 [tab] элемент_1 [tab] элемент_2 [tab] элемент_3
КЛЮЧ1 [tab] категория_1 [tab] элемент_1 [tab] элемент_2 [tab] элемент_3
КЛЮЧ1 [tab] категория_1 [tab] элемент_1 [tab] элемент_2 [tab] элемент_3
КЛЮЧ1 [tab] категория_1 [tab] элемент_1 [tab] элемент_2 [tab] элемент_3
КЛЮЧ1 [tab] категория_2 [tab] элемент_1 [tab] элемент_2 [tab] элемент_3
КЛЮЧ1 [tab] категория_2 [tab] элемент_1 [tab] элемент_2 [tab] элемент_3
КЛЮЧ1 [tab] категория_2 [tab] элемент_1 [tab] элемент_2 [tab] элемент_3
КЛЮЧ1 [tab] категория_2 [tab] элемент_1 [tab] элемент_2 [tab] элемент_3

Еще можно NF == 1 заменить на /категория/.

1) У меня ключ содержит пробелы. В итоговую таблицу попадает не весь ключ, а только его начало (до первого пробела).

Предупреждать надо было =) currentKey = $0 тогда вместо этого. Но вообще, если тут что-то может содержать пробелы, то многое уже поломается.

2) Этот парсер не работает в конвеере bash.

Не вижу причин не работать, если его вызывать, например, как cat file | awk -f script.awk

cat file | awk -f script.awk - работает

Но не работает в более сложном конвеере:

cat X | sed | grep | sed | sed | awk -f

При этом, если воспользоваться временным файлом, то всё работает. Складывается впечатление, что работа awk заваливается потомучто конвеер поставляет строки на обработку не стабильным потоком, а с набольшими задержками, которые awk как-то по-своему интерпретирует.

Практически то, что было нужно, но проблема такая же: работает в простом конвеере с «cat», и не работает в потоке большого конвеера.

Попробуйте к grep --line-buffered добавить.

не помогло.

А cat вместо awk в конце этого «большого конвеера» работает что ли?

И sed добавьте -u. В общем, копайте в сторону буферизации. Я думаю, это оно.

Не работает:

(большой конвеер) | awk

(большой конвеер) > tmp_file
cat tmp_file | awk

Без более точных требований достаточно просто сделать

Хочу уточнить одно требование: «элемент_1» заканчикается точкой, но внутри «элемент_2» и «элемент_3» точка так же может существовать.

'FS = «[./ ]+»' указывает делиметеры. Из-за этого разваливается часть строк в таблице. Возможно-ли указать, что делиметером будет не точка, а точка со следующим за ней пробелом?

Возможно-ли указать, что делиметером будет не точка, а точка со следующим за ней пробелом?

Это обычная регулярка. Можно, например, так:

FS = "(\\. |[/ ]+)"

Идеально.

AWK парсит текст в таблицу со всеми требованиями.

#!/usr/bin/awk -f

BEGIN { FS = "(\\. | [/] )+"; OFS = "|" }
NR == 1 { key = $0; next }
NF == 1 { category = $1; next }
{ print key, category, $1, $2, $3 }

Единственная не решёная проблема: этот скрипт не обрабатывает результат работы сложного конвеера, но это уже другая история... Постараюсь не забыть дописать сюда полное решение, когда найду его.

Спасибо всем за помощь! Тема остаётся открытой пока я не найду способ обойти проблему буферизации.

Если

(большой конвеер) | cat

(большой конвеер) | cat | awk

покажи уже свой полный конвеер чтоли, иначе не ясно в чем там проблема.

это решение кстати будет работать только с GNU awk, так на всякий.

Получается примерно это:

КЛЮЧ1 [tab] категория_1 [tab] элемент_1 [tab] элемент_2 [tab] элемент_3
КЛЮЧ1 [tab] категория_1 [tab] элемент_1 [tab] элемент_2 [tab] элемент_3
КЛЮЧ1 [tab] категория_1 [tab] элемент_1 [tab] элемент_2 [tab] элемент_3
КЛЮЧ1 [tab] категория_1 [tab] элемент_1 [tab] элемент_2 [tab] элемент_3
# Вот тут должна была начаться "категория_2". 
# Это видно по солержимому элементов 1, 2 и 3 - соответствуют полям категории_2
элемент_1 [tab] элемент_2 [tab] элемент_3
элемент_1 [tab] элемент_2 [tab] элемент_3
элемент_1 [tab] элемент_2 [tab] элемент_3
элемент_1 [tab] элемент_2 [tab] элемент_3
# Вот тут должна была начаться "категория_3". 
элемент_1 [tab] элемент_2 [tab] элемент_3
элемент_1 [tab] элемент_2 [tab] элемент_3
элемент_1 [tab] элемент_2 [tab] элемент_3
элемент_1 [tab] элемент_2 [tab] элемент_3
# и так далее...

При этом некоторые поля получаются битыми (чвсть поля правильная, а другая часть содержит кусок поля «категория» или «ключ»)

Покажи уже свой полный конвеер что-ли...

На входе HTML от wget или cat, далее:

sed 's/.div.class..name.\{13\}\(.*\)..div..div.class..text../\nguest_name \1\n/g' | 
egrep "cltx...[1-9]|guest_music|guest_name|music_r" | 
sed 's/guest_music/<\/div>music_r0<div>\n<"/g;s/<div class="music_r\(.\)">/music_r\1/g' | 
sed -e :a -e 's/<[^>]*>//g;/</N;//ba;s/\&amp\;/\&/g;s/^[ \t]*//' | 

Подозреваю что виновен последний sed, который удалят HTML-тэги, включая многострочные.

Значит в категории также могут встречаться делимитеры, а ключей больше одного. В таком случае скрипт надо дорабатывать. Для доработки скрипта нужно определить уникальные символы для каждой категории строк (ключи, категории, элементы), которые не могут встречаться в других категориях строк.

Проблема с буферизацией решилась?

это решение кстати будет работать только с GNU awk, так на всякий.

Поясни. У меня работает в gawk, mawk и в awk из OpenBSD.

Скрипт надо дорабатывать...

Значит в категории также могут встречаться делимитеры, а ключей больше одного.

Это не совсем так. Для каждой обрабатываемой страницы ключ всего один, но он может содержать пробелы. То, что в названии категории могут встречаться разделители - я уже обошёл настройкой сценария awk.

Сейчас awk-обработчик работает, если получает данные на вход из временного файла, который подготавливается конвеером.

Проблема с буферизацией ещё не решилась. Не помогли «sed -u» и «grep --line-buffered». Писать множество временных фойлов - не лучшая идея, поэтому продолжаю копать.

Судя по выводу — проблема в поломанных переводах строк. Например, на конце «категория_2» повис не удалённый ^M и терминал его честно отработал. Направь вывод "(большой конвеер) | awk" в файл и открой его потом в vim (cat не прокатит).

Хотя это не объясняет, почему из временного файла awk отрабатывает корректно. Система не Винда ли?

Система не Винда ли?

повис не удалённый ^M

Так точно капитан! "(большой конвеер) | awk > tmp && vim tmp" именно он и висит...

Система не Винда ли?

Боже упаси...

Чтобы избавиться от ^M, можно добавить в конвеер dos2unix.

(wget/cat) | dos2unix | (конвеер) | awk >> result_file

Теперь awk работает без проблем.

Тема закрыта. Спасибо всем за помощь!

упс, я не прав. был уверен, что ERE в FS это расширение, а сейчас открыл посикс, и действительно, в стандарте от уже 2004-го есть. когда-то давно напоролся на то что это не работало, то ли в старом Солярисе, то ли в том же OpenBSD.