История изменений
Исправление vtVitus, (текущая версия) :
Поиск по базе быстрее grep-а по дереву из десятка директорий и сотен файлов. Возможно, будь все 150M в одном файле, было бы быстрее без базы.
А если потратить 4 часа времени и написать программку для индексации и работы с разбивкой на нужное кол-во файлов или попробовать сделать поиск многопоточным, то будет быстрее поиска по базе в 100 раз минимум. Многократно проверенно. Самое эпичное, когда в Оракле прохождение запросами начало отваливаться по timeout (более 6 часов, по ночам!), а java программка делала тоже самое за 15-20 минут (когда хошЪ!). База данных она вообще про другое - консистентность, транзакционность, стандарт и предсказуемость и т.п., а не про скорость.
Исправление vtVitus, :
Поиск по базе быстрее grep-а по дереву из десятка директорий и сотен файлов. Возможно, будь все 150M в одном файле, было бы быстрее без базы.
А если потратить 4 часа времени и написать программку для индексации и работы с разбивкой на нужное кол-во файлов или попробовать сделать поиск многопоточным, то будет быстрее поиска по базе в 100 раз минимум. Многократно проверенно. Самое эпичное, когда в Оракле прохождение запросами начало отваливаться по timeout (более 6 часов), а java программка делала тоже самое за 15-20 минут. База данных она вообще про другое - консистентность, транзакционность, стандарт и предсказуемость и т.п., а не про скорость.
Исправление vtVitus, :
Поиск по базе быстрее grep-а по дереву из десятка директорий и сотен файлов. Возможно, будь все 150M в одном файле, было бы быстрее без базы.
А если потратить 4 часа времени и написать программку для индексации и работы с разбивкой на нужное кол-во файлов или попробовать сделать поиск многопоточным, то будет быстрее поиска по базе в 100 раз минимум. Многократно проверенно. Самое эпичное, когда в Оракле прохождение запросами начало отваливаться по timeout (более 6 часов), а java программка делала тоже самое за 15-20 минут. База данных она вообще про другое.
Исходная версия vtVitus, :
Поиск по базе быстрее grep-а по дереву из десятка директорий и сотен файлов. Возможно, будь все 150M в одном файле, было бы быстрее без базы.
А если потратить 4 часа времени и написать программку для индексации и работы с разбивкой на нужное кол-во файлов и сделать поиск много поточным, то будет быстрее поиска по базе в 100 раз минимум. Многократно проверенно. Самое эпичное, когда в Оракле прохождение запросами начало отваливаться по timeout (более 6 часов), а java программка делала тоже самое за 15-20 минут. База данных она вообще про другое.