История изменений
Исправление foror, (текущая версия) :
Поставил три сайта на идексацию в районе 7000 документов расход по памяти не больше 1 гига без всяких утечек. Но есть проблема, если добавлять больше сайтов на сканирование, то для каждого краулера выделяется память отдельно. Очевидно с таким подходом десяток сайтов не посканируешь, так что у них серьезная проблема в архитектуре.
Исходная версия foror, :
Поставил три сайта на идексацию в районе 7000 документов расход по памяти не больше 1 гига. Но есть проблема, если добавлять больше сайтов на сканирование, то для каждого краулера выделяется память отдельно. Очевидно с таким подходом десяток сайтов не посканируешь, так что у них серьезная проблема в архитектуре.