LINUX.ORG.RU

История изменений

Исправление Chaser_Andrey, (текущая версия) :

опеннет

Осторожно. Я уже вырубил, а то меня временно там забанили за частые соединения. Надо возобновить, но уменьшив частоту, наверное, до нескольких запросов в минуту.

Алсо, как раздавать запросы на crawl?

Заходишь в http://localhost:8090/CrawlStartSite_p.html (Crawler / Harvester), там есть вкладка http://localhost:8090/CrawlStartExpert_p.html (Crawl Start (Expert)). Ищешь «Do Remote Indexing» и включаешь галочку, по желанию можешь оставить там описание. Попробуй, а я посмотрю, появится ли у меня задания)

Только я пока не разобрался, как ограничивать PPM (page per minute) для отдельной задачи (job) или для отдельного домена.

Исходная версия Chaser_Andrey, :

опеннет

Осторожно. Я уже вырубил, а то меня временно там забанили за частые соединения. Надо возобновить, но уменьшив частоту, наверное, до нескольких запросов в минуту.

Алсо, как раздавать запросы на crawl?

Заходишь в Crawler / Harvester, там есть вкладка Crawl Start (Expert). Ищешь «Do Remote Indexing» и включаешь галочку, по желанию можешь оставить там описание. Попробуй, а я посмотрю, появится ли у меня задания)

Только я пока не разобрался, как ограничивать PPM (page per minute) для отдельной задачи (job) или для отдельного домена.