Как определить наличие строки в весьма большом файле ?

Очень большой это сколько?

Вроде где то слышал про утилиту что разбивает файл на «слова», но в упор не могу вспомнить.

tr ' ' '\n' < file.txt 

да хотя бы так поменять пробелы на конец строки и потом грепнуть. И лучше fgrep, а не grep.

perl, python, tcl, etc в руки и вперед.

Придумываешь глупый алгоритм сравнения с учетом того, что читаешь порциями файл. Профит.

Возможно это не подойдет — искомая строка может быть разделена на строки и не будет найдена.

Вроде где то слышал про утилиту что разбивает файл на «слова», но в упор не могу вспомнить.

Он спросил - я ответил. А если весь файл - одна большая строка, то греп всю эту строку в качестве результата и выдаст (если не использовать флаг -o)!

Очень большой это сколько?

1,824,988,911 байт

да хотя бы так поменять пробелы на конец строки и потом грепнуть.

Блин точн. Спасиб.

Перл не знаю, но тут памяти может не хватить тоже? Из стандартного инпута данные регекспятся?

Можно же глупый алгоритм использовать:

1. прочитать мегабайт(например)

2. поискать строчку

3. если не нашел, прочитать следующий мегабайт со смещением назад на длину строчки

4. перейти к п. 2

Подошло, мне нужно непрерывное значение найти, так что деление по пробелам катит

1,824,988,911 байт

Это совсем не очень большой.

да хотя бы так поменять пробелы на конец строки и потом грепнуть.

Блин точн. Спасиб.

Так тебе одно слово надо найти? Тогда все проще, да.

Оно разве не тормознее грепа выйдет?

Тормознее, уже пятую минуту жду

grep (GNU grep) не хуже алгоритмы использует (+mmap) и упасть из-за нехватки памяти может только при попытке вывести найденную строку.

Да, тормознее. Я думал, что у него с потреблением памяти получше будет, но на входном файле одной строкой он ест не меньше, чем grep.

Да, я тоже проверил уже. Результата даже не дождался.

Можно и такой алгоритм написать. Но однострочник длинный будет.

разбить на части дихотомией или золотым сечением или методом монте-карло, в общем планомерно понижать сложность

grep многократно ускоряется при использовании опции -P (perl regexp'ы). если порезать файл с tr и потом натравить grep -P, будет относительно быстро. впрочем, я как-то перлом регекспами обрабатывала большие файлы и вроде не очень тормозило, было даже быстрее обычного grep'а.

grep многократно ускоряется при использовании опции -P (perl regexp'ы)

А если регулярки не нужны, как в этом случае, то еще сильнее он ускоряется с ключом -F (fgrep).