покажи формат записи (пару строк из лога)

[#|2012-12-13T08:02:01.864+0400|WARNING|sun-appserver2.1|com.sun.jbi.engine.bpel.core.bpel.trace.BPELTraceManager|_ThreadID=53;_ThreadName=sun-bpel-engine-thread-5;Process Instance Id=192.168.191.63:7e7e6603:13b925ed4df:-5b44;Service Assembly Name=InternetCRMCA;Activity Name=selectEmailOutbox;BPEL Process Name=processCrmEmailReply;_RequestID=ba208cff-ebda-4b93-9ba4-438abe279fc9;|Invoke::CRM_DB::End::SessionId=192.168.191.63:7e7e6603:13b925ed4df:-5b41|#]

[#|2012-12-13T08:02:01.864+0400|INFO|sun-appserver2.1|com.sun.jbi.engine.bpel.core.bpel.trace.BPELTraceManager|_ThreadID=53;_ThreadName=sun-bpel-engine-thread-5;Process Instance Id=192.168.191.63:7e7e6603:13b925ed4df:-5b44;Service Assembly Name=InternetCRMCA;Activity Name=EndProcess;BPEL Process Name=processCrmEmailReply;|Flow::MainFlow::End::SessionId=192.168.191.63:7e7e6603:13b925ed4df:-5b41|#]

Perl FTW

perl -anl -F'\|' -MTime::Piece -e'BEGIN{ sub parse {Time::Piece::->strptime($_[0],"%Y-%m-%dT%H:%M:%S")}; $_=parse($_) for ($::start,$::end)}; my $date = parse ($F[1]=~\/(.*)\.\d+\+\d+/); print if $F[2] eq "INFO" and $date >= $::start and $date <= $::end' -s -- -start=2012-12-13T10:00:00 -end=2012-12-13T11:00:00

Вроде, проверил. Миллисекунды и часовой пояс игнорируются.

https://gist.github.com/yunake/b2c4a1d88f7d3ca8416d

питон, мс и тз учитываются, а еще оно читабельно, модульно и реюзабильно ;)

grep '2012-12-13T10:.*\|INFO'

P.S. Выше отписались 2 нтерпрaйзнутых, всегда использующих громоздкое общее решение, там где достаточно частного.

Насколько я понимаю, вот эта команда grep '2012-12-13T10:.*\|INFO' правильная?

DATEFROM='2012-12-13T10:00:00+04:00'
  DATETO='2012-12-13T11:00:00+04:00'

awk -F'|' -v f="$DATEFROM" -v t="$DATETO" \
  'BEGIN {  gsub("[-T:+]"," ",f);         \
            df=mktime(f);                 \
            gsub("[-T:+]"," ",t);         \
            dt=mktime(t);                 \
         }                                \
   { d=$2;                                \
     gsub("[-T:+]"," ",d);                \
     curdate=mktime(d);                   \
   }                                      \
   curdate >= df &&                       \
   curdate <= dt &&                       \
   $3 == "INFO"         {print $0}        \
'

Не проверял.

к сожалению, это не работает. mktime тихо игнорирует таймзону после микросекунд, так как не понимает микросекунд, в итоге сравнивает две даты в разных таймзонах. можно конечно просто убрать таймзону из спецификации to и from, но это ведь костыли.

я тоже начал с очень похожего скрипта на авке, но со временем проблемы с распарсиванием разных форматов даты меня заколебали вконец, и родился тот скрипт что я запостил. теперь просто адаптирую его каждый раз под конкретный случай. в него очень просто добавлять дополнительные фильтры, и он почти так же эффективен, как простой авк. надо бы запилить нормальный main туда, с интерфейсом командной строки и библиотекой фильтров, да залить куда-нибуть, проблема-то популярная.

такие модульные универсальные скрипты никому кроме автора не нужны. в чужом дольше разбираться, а свой слабать 5 минут времени. миллисекунды не заметил, отрезать их в gsub недолго

Уважаемые форумчане, забыл сказать, что мне нужно оформить поиск в виде shell-скрипта.

я не возражаю, можешь оформлять.

лучше:

while read LINE; do
    if [ -n "$LINE" ]; then

then echo $LINE

У меня так и написано

while read LINE
do
    if [ -n "$LINE" ]
    then

Не вижу, как твой вариант может привести к исключению

then echo $LINE

это больше вопрос собственного восприятия

• сокращает количество строк
• дает возможность комментировать строку установкой в её начале символа #

привести к исключению

ни разу к этому не призывал

Понятно. Я лучше воспринимаю код, когда структуры управления выделяются отступами.

Как сделать так, чтобы скрипт считывал строки из нужного файла?
Просто почему-то он не считывает строки из файла лога.

оно читает данные из stdin, сделай:

$ cat source_file | ./script.sh

В скрипте строку

while read LINE

cat log.txt | while read LINE

При запуске скрипта выходит такое сообщение: ./seek.sh: строка 13: 1355382000: Нет такого файла или каталога
Насколько я понимаю в файле лога нет даты 2012-12-13T11:00:00.000

А что находится в 13 строке лог файла?

[#|2012-12-13T08:02:01.864+0400|INFO|sun-appserver2.1

Исходя из содержания ошибки, 13 строчка скрипта пытается использовать значение переменной DATE3 как название файла или каталога. В моем скрипте нет строчки 13, а переменная DATE3 используется только в 8 строчке и в ней нет такой команды.

Возможно, текст скрипта скопирован неточно. Попробуйте заново скопировать текст скрипта в новый файл и, не внося никаких изменений в него, (в скрипте должно быть ровно 12 строчек) запустить его следующей командой:

cat log.txt | bash seek.sh

скопировал в новый файл, теперь вот такая ошибка:
poisk.sh: строка 8: [: -ge: ожидается использование унарного оператора date: лишний операнд «BPCOR-6174:»
По команде «date --help» можно получить дополнительную информацию.

тебе может помочь разобраться в проблеме -x в первой строке скрипта:

#!/bin/bash -x

Нашел причину ошибки. В файле с логами присутствуют блоки warning:
[#|2012-12-13T11:15:48.454+0400|WARNING|sun-appserver2.1|com.sun.jbi.engine.bpel.BPELSEHelper|_ThreadID=49;_ThreadName=sun-bpel-engine-thread-0;Process Instance
Если он встречается, то возникает ошибка. Как побороть не знаю.

В седьмой строке скрипта аргумент date -d надо окружить двойными кавычками.

DATE3=$(date -d "`echo $LINE | cut -d\| -f2`" +%s)

Блок WARNING не должен мешать. Мешать могут строки, в которых дата имеет другой формат либо между первым и вторым знаком «|» строки находится не дата, а что-то другое.

Все-таки проблема в блоке warning. Вот такая ошибка:
date: неверная дата «Error properties\r» ./poisk.sh: строка 9: [: -ge: ожидается использование унарного оператора date: неверная дата «com.sun.jbi.crl.faultcode = Server\r» ./poisk.sh: строка 9: [: -ge: ожидается использование унарного оператора date: неверная дата «com.sun.jbi.crl.faultstring = BPCOR-6135
Вот сам блок:
[#|2012-12-13T11:15:48.454+0400|WARNING|sun-appserver2.1|com.sun.jbi.engine.bpel.BPELSEHelper|_ThreadID=49;_ThreadName=sun-bpel-engine-thread-0;Process Instance Id=192.168.191.63:7e7e6603:13b925ed4df:-33da;Service Assembly Name=RebillingCA;BPEL Process Name=HandlerITAN;_RequestID=08a52876-86b1-4432-865f-81f2ce0c5d1a;|BPJBI-6001: Sending ERROR status (Service Name = {urn:gf-rebilling:handler-itan}Itan, Endpoint Name = JMSInPortTypeRole_myRole, Operation Name = {urn:gf-rebilling:get-from-inner-queue-itan}JMSInOperation, Message Exchange Id = 103811251663452-9183-135746757484070139)
Error properties
com.sun.jbi.crl.faultcode = Server
com.sun.jbi.crl.faultstring = BPCOR-6135: A fault was not handled in the process scope; Fault Name is {http://docs.oasis-open.org/wsbpel/2.0/process/executable}selectionFailure; Fault Data is <?xml version=«1.0» encoding=«UTF-8»?><jbi:message xmlns:sxeh="http://www.sun.com/wsbpel/2.0/process/executable/SUNExtension/ErrorHandling&q... type=«sxeh:faultMessage» version=«1.0» xmlns:jbi="http://java.sun.com/xml/ns/jbi/wsdl-11-wrapper"><jbi:part>BPCOR... Selection Failure occurred in BPEL({urn:gf-rebilling:handler-itan}HandlerITAN) at line 68</jbi:part></jbi:message>. Sending errors for the pending requests in the process scope before terminating the process instance
com.sun.jbi.crl.faultactor = sun-bpel-engine
com.sun.jbi.crl.faultdetail =
BPCOR-6135: A fault was not handled in the process scope; Fault Name is {http://docs.oasis-open.org/wsbpel/2.0/process/executable}selectionFailure; Fault Data is <?xml version=«1.0» encoding=«UTF-8»?><jbi:message xmlns:sxeh="http://www.sun.com/wsbpel/2.0/process/executable/SUNExtension/ErrorHandling&q... type=«sxeh:faultMessage» version=«1.0» xmlns:jbi="http://java.sun.com/xml/ns/jbi/wsdl-11-wrapper"><jbi:part>BPCOR... Selection Failure occurred in BPEL({urn:gf-rebilling:handler-itan}HandlerITAN) at line 68</jbi:part></jbi:message>. Sending errors for the pending requests in the process scope before terminating the process instance
Caused by: BPCOR-6174: Selection Failure occurred in BPEL({urn:gf-rebilling:handler-itan}HandlerITAN) at line 68
BPCOR-6129: Line Number is 66
BPCOR-6130: Activity Name is InitParams|#]

Если убрать блок Error properties и дальше, то все работает.

Проблема в этом блоке - Message Exchange Id = 103811251663452-9183-135746757484070139
Программа считает ее за дату. Каким образом это обойти?

Если WARNING блоки не содержать подстроку «|INFO|», попробуйте следующий скрипт:

#!/bin/bash
DATE1=`date -d 2012-12-13T10:00:00.000+0400 +%s`
DATE2=`date -d 2012-12-13T11:00:00.000+0400 +%s`
while read LINE
do
    if [[ $LINE == *\|INFO\|* ]]
    then
        DATE3=$(date -d "`echo $LINE | cut -d\| -f2`" +%s)
        if [ $DATE3 -ge $DATE1 ] && [ $DATE3 -lt $DATE2 ]
        then echo $LINE
        fi
    fi
done

«В седьмой строке скрипта аргумент date -d надо окружить двойными кавычками.»
Можно объяснить для чего нужны двойные кавычки?

Двойные кавычки нужны, когда в аргументе присутствуют пробелы. При отсутствии двойных кавычек все части строки, разделенные пробелами, считаются самостоятельными аргументами. Например, команда

date -d 2015-01-01 10:00 +%s
date: лишний операнд "+%s"

Когда аргумент окружается двойными кавычками, он обрабатывается правильно.

date -d "2015-01-01 10:00" +%s
1420074000

А это скрипт для вывода WARNING блоков. Все переводы строк съедаются.

#!/bin/bash
DATE1=`date -d 2012-12-13T10:00:00.000+0400 +%s`
DATE2=`date -d 2012-12-13T11:00:00.000+0400 +%s`
while read -d \] LINE
do
    if [[ $LINE == *\|WARNING\|* ]]
    then
        DATE3=$(date -d "`echo $LINE | cut -d\| -f2`" +%s)
        if [ $DATE3 -ge $DATE1 ] && [ $DATE3 -lt $DATE2 ]
        then echo $LINE\]
        fi
    fi
done