Есть сайт, который не удается сохранить. Wget сохраняет только index.html и robots.txt и потом вываливается с ошибкой 316, чего-то там про несовпадение в количестве байт я толком не понял. Ошибка, как я понимаю, не стандартная http, а что-то свое для wget.
user-agent, естественно менял (иначе сразу отлуп вообще), от учета robots.txt пробовал отказаться. wait в 1 секунду пробовал прописывать. Что еще можно сделать, кроме того, чтобы писать парсер и скачивание отдельных страниц? В Firefox сайт открывается нормально и отдельные страницы нормально сохраняются.
HTtrack тоже сразу отваливается, если игнорировать robots.txt - подвисает. (И между прочим, у httrack какая-то инопланетная логика работы, я в ней толком не смог разобраться)
То ли это защита от ботов, то ли х.з.
