LINUX.ORG.RU

grep для больших файлов


0

1

grep нормально справится с обработкой текстовых файлов размером 10-100Гб, или лучше взять что-то другое?
сейчас пробую, и пока жду результата, решил послушать ваши советы.
правила несложные - пара слов, никаких регулярок. текст в utf

★★☆☆

Последнее исправление: xtraeft (всего исправлений: 1)

grep нормально справится с обработкой текстовых файлов размером 10-100Гб

да

или лучше взять что-то другое?

sed попробуй, если что-то сложное.

drBatty ★★
()

Смотря как им искать, наличие регулярок итд итп.
20гиговки я пережевывал, но сообщал ему что искомое не регулярка, и всё шло быстрее, в моём случае.

Spirit_of_Stallman ★★★
()
Ответ на: комментарий от drBatty

да

ходят слухи, что он может сожрать всю память. это так? у меня всего 16гб

sed попробуй, если что-то сложное.

ничего сложного, простая выборка по 1-2 словам

xtraeft ★★☆☆
() автор топика
Ответ на: комментарий от xtraeft

ходят слухи, что он может сожрать всю память. это так? у меня всего 16гб

это если строки ДЛИННЫЕ.

ЗЫЖ у меня 384Мб

drBatty ★★
()
Ответ на: комментарий от xtraeft

апдейты нужны

gnu grep из homebrew (/usr/local/bin/grep (GNU grep) 2.14):

real 5m41.691s


родной макососный grep (grep (BSD grep) 2.5.1-FreeBSD):

real 14m22.838s



проверил несколько раз

xtraeft ★★☆☆
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.