История изменений
Исправление goingUp, (текущая версия) :
его нужно проанализировать
Нет, я про фильтр страниц по урлу, не скачивая.
Скачать само по себе вообще не проблема, большая часть веса странички не html, а css, js, картинки. Но если ты будешь слишком много качать страниц в единицу времени, тебя забанит антиддос. Ну и с анализом скачаного на дубли тоже будут проблемы.
Наверное, можно как-то отрисовать сайт
Для того, чтобы отрисовать страничку, браузеру ее ВНЕЗАПНО нужно скачать, и потом еще отрендерить, т.е. работы больше, чем просто скачать.
Исходная версия goingUp, :
его нужно проанализировать
Нет, я про фильтр страниц по урлу, не скачивая.
Скачать само по себе вообще не проблема, большая часть веса странички не html, а css, js, картинки. Но если ты будешь слишком много качать страниц в единицу времени, тебя забанит антиддос. Ну и с анализом скачаного на дубли тоже будут проблемы.
Наверное, можно как-то отрисовать сайт
Для того, чтобы отрисовать страничку, ее ВНЕЗАПНО нужно скачать, и потом еще отрендерить, т.е. работы больше, чем просто скачать.