Оптимизация работы скрипта ( работа с .gz архивами на лету)

zcat $arch_list > /dev/shm/abc.log

Работать с /dev/shm/abc.log и удалить после

Впрочем оптимизация — написать скрипт так чтобы читать файл(ы) только один раз и все проверки/манипуляции делать сразу

У меня /dev/shm 2Гб. А результат zcat $arch_list может весить и 5Гб и больше...

Попробуй использовать avfs

var6 не дочитал, copy/paste — но смысл, надеюсь ясен и cut/sort/uniq легко реализуемы в awk или perl/python/tcl/...

и $ не нужен в print'e — устал видимо, пора домой.

Не очень понял, если честно.

Во-первых, зачем в принте запятая стоит перед $ Во-вторых, что это за var используется в awk, ты же их нигде не определял? В-третьих, для понимания твоего варианта начал с простого: zcat a.gz b.gz c.gz | awk '/pattern/' {var++} Хотел чтобы вывести кол-во строк содержащих pattern, но в ответ получил cannot open file `{var++}' for reading (Нет такого файла или каталога).

направление я тебе задал. не можешь сам, жди лохов, которые за тебя все сделают или башляй в Jobs

#!/bin/bash

  arch_list="a.gz b.gz c.gz"

  job1 () { printf 'result1: %s\n' $( wc -l ) ; } # job1

  job2 () {
    printf 'result2: %s\n' $( grep -E -v \
                                '(word1|word2|word3|word4)' | wc -l )
  } # job2

  job3 () { printf 'result3: %s\n' $( grep word2 | wc -l ) ; } # job3

  job4 () { printf 'result4: %s\n' $( grep word3 | wc -l ) ; } # job4

  job5 () { printf 'result5: %s\n' $( grep word4 | wc -l ) ; } # job5

  job6 () { printf 'result3: %s\n' $( grep word3 |
                                      cut -f 9 -d ' ' |
                                      sort | uniq -u  | wc -l )
  } # job6

  gunzip -c $arch_list |
  tee >( job1 ) >( job2 ) >( job3 ) >( job4 ) >( job5 ) >( job6 ) >/dev/null |
  sort

exit

Естественно, только для bash.

направление я тебе задал. не можешь сам, жди лохов, которые за тебя все сделают или башляй в Jobs

Когда хотят задать направление то пишут что-то вроде «попробуй через awk». ТЫ же привел конкретную схему в которой опечатался и которая не работает, по которой я задал уточняющий вопрос а ты слился. Так что сам иди... и жди...

ABW, через функции, отличный вариант! Спасибо за идею!

я писал на ходу, а туп настолько что даже мелкие опечатки не осилил исправить, куда тебе самому awk осваивать. клянчь дальше по форумам, побирушка.

Вариант с awk по нормальному выглядит вот так:

zcat $arch_list | awk '
        {var1++}
!(/word1/ || /word2/ || /word3/ || /word4/) {var2++}
/word1/ {var3++}
/word2/ {var4++}
/word3/ {var5++}
/word4/ {var6++}
END {
     print "result1: "  var1
     print "result2: "  var2
     print "result3: "  var3
     print "result4: "  var4
     print "result5: "  var5
     print "result6: "  var6
     }'

Так что опечаток у советчика было будь здоров. А что касается момента с sort и uniq, то на awk это не так и просто решить, поэтому видимо советчик и «не дочитал» В любом случае спасибо анонимусу за идею. И огромный минус за манеру общения, видимо одичал совсем...