LINUX.ORG.RU

Поиск по кучи текстовых файлов, grep не тянет

 ,


0

5

Народ, подскажите какие есть решения для поиска по текстовым файлам. Файлов больше 1 млн, каждый примерно по 1-30 кб. Может быть есть хорошие варианты для полнотекстового поиска. Может есть какие коробочные версии для индексирования и поиска.

Пока справляется grep, но файлов всё больше и больше через, какое-то время на кеширование fs оперативы перестанет хватать, и grep будет крайне медленный.

★★

Может есть какие коробочные версии для индексирования и поиска.

Есть, базы данных называются.

anonymous
()
Ответ на: комментарий от no-such-file

Эх, recoll похоже то что надо но уже пихнул всё в sqlite3, пока не загнулось, посмотрим что будет дальше...

ASM ★★
() автор топика

Предложу Elastic Search, запускаемый в docker, чтобы не париться с установкой.

Deleted
()
Ответ на: комментарий от Deleted

Возникли некоторые конфликты с ленью, так что пока 1гб, но оно подсасывает где-то по 1гб день, посмотрим что будет через пару недель...

Там ещё странности, с case-insensitive возникли, русский язык что-то странно работает с ним, но пока тоже небыло время разобраться.

ASM ★★
() автор топика
Ответ на: комментарий от ASM

У sqlite оператор like не умеет case insensitive без библиотеки icu. Без нее только ascii.

CrazyAlex25 ★★★
()
Ответ на: комментарий от Deleted

база 8 Гб, match отрабатывает около 0.02 сек, like работает около 3 минут. В целом всё выглядит ожидаемо, ждём 16 Гб...

ASM ★★
() автор топика
Ответ на: комментарий от Deleted

база 22 Гб, match около 0 сек, like около 7 минут

ASM ★★
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.