Нужно выкачать несколько сайтов - около сотни, и потом обновлять их переодически. Проблема в том, что при загрузки wget'ом он слишком долго ждёт отклика от хоста, т.е. пока php сформирует для него страницу. В итоге загрузка идёт рывками и очень медленно - за 6 часов вытянуло только 500мб. Как бы это дело ускорить?
У меня единственная идея - запускать несколько копий wget параллельно в фоне. Но как управлять количеством работающих копий, чтобы их не было слишком много, но использовался бы весь ресурс канала?
Да, и почему вот это:
wget -N --recursive --level=$DEPTH --relative --no-parent --wait=$SECWAIT --random-wait --force-directories --directory-prefix=$ROOTPREFIX --input-file=«$HOSTSFILE»
загружает ещё и изображения?
