GNU grep — тормозилово

Очень приятно.

В вашей консерватории однозначно что-то не так.

$ du -sh cache.log && time { cat cache.log | grep '101' > /dev/null; }
7,6M cache.log

real 0m0.030s
user 0m0.018s
sys 0m0.012s

Тоже Gentoo.

какая версия grep?

$ grep -V grep (GNU grep) 2.5.1

Copyright 1988, 1992-1999, 2000, 2001 Free Software Foundation, Inc. This is free software; see the source for copying conditions. There is NO warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.

Ёлы. USer line breaks выбрать забыл. По сабжу: грепал гиговые логи сквида, время выполнения было вполне приемлемое.

> из генту

Юз Слакварь, Люк. Известно, что генту собирается с оптимизацией под проц, только до сих пор не выяснено, что это за проц и где его взять.

А если вместо:
time { cat file | grep '^NODE' > /dev/null; }
Сделать:
time { grep '^NODE' file > /dev/null; }
?

А локаль у кого какая?

то что у вас быстро -- ни о чем не говорит. Если я в том же файле ищу паттерн которого нет, то скорость приемлемая

$ time { cat file | grep '^101' > /dev/null; }

real 0m0.690s user 0m0.664s sys 0m0.024s

$ time { cat file | grep '101' > /dev/null; }

real 0m4.669s user 0m4.548s sys 0m0.008s

Паттерн ^NODE на котором греп занимает больше 4 минут -- встречается ~280 тысяч раз

> А локаль у кого какая?

о, точно, это ж постоянный источник проблем. Локаль была en_US.UTF-8 и у awk (0.9 сек) и у grep (4 мин).

Сейчас поставил LC_ALL=C -- греп отработал за 60 миллисекунд

О! Не знал. У меня локаль KOI8-R. Тады ясно.

Дебиан etch

$ time grep '^NODE' file.log >/dev/null 

real    0m0.872s
user    0m0.828s
sys     0m0.040s

$ locale
LANG=en_US.UTF-8
LC_CTYPE="en_US.UTF-8"
LC_NUMERIC="en_US.UTF-8"
LC_TIME="en_US.UTF-8"
LC_COLLATE="en_US.UTF-8"
LC_MONETARY="en_US.UTF-8"
LC_MESSAGES="en_US.UTF-8"
LC_PAPER="en_US.UTF-8"
LC_NAME="en_US.UTF-8"
LC_ADDRESS="en_US.UTF-8"
LC_TELEPHONE="en_US.UTF-8"
LC_MEASUREMENT="en_US.UTF-8"
LC_IDENTIFICATION="en_US.UTF-8"
LC_ALL=

$ grep -c '^NODE' file.log
388838

This is GNU grep, the "fastest grep in the west" (we hope) (c)

Пора, наверное, как Линус, переходить на другой grep ;)

У меня греп дико тормозил, когда весь файл -- одна строка.

У меня fgrep ~ за такое время на raid5 парсил 1.7гб лог vsftpd O_O