LINUX.ORG.RU

Теперь я спрошу про wget.


0

0

Пытаюсь скачать все содержимое одного каталога с некоего ftp-сайта, через http-прокси (squid). Ман перечитал вдоль и поперек, гораздо больше 10-ти минут. Скачивается файл index.html, а содержимое каталога не скачивается. Перепробовал все рецепты из предыдущего треда про wget. С http получается, мимо прокси тоже все прекрасно, а вот так не получается.

★★★★★

Все верно, это прокси так тебе выдает листинг ftp - в виде html. Я делал так: - сначала получаю этот листинг. - его указываю wget-у как файл ссылок - html файл (--force-html).

Но в этом случае многие файлы скачиваются 2 раза, т.к. они дважды указаны в листинге, полученном от прокси. Потому пришлось, к примеру, для скачивания обновляшек написать вот такой скриптик.

#!/bin/sh cd /mnt/store/pvt/drwebase/zip #Скачиваем список файлов обновляшек wget -N -C off ftp://ftp.avp.ru/updates_zip/ #Выбираем имена файлов в файл ./list cat ./ftp.avp.ru/updates_zip/index.html | cut -s --delimiter=\" --fields=2 | grep \.zip > list #Удаляем файлы обновлений, которых нет в полученном списке for i in `ls ./ftp.avp.ru/updates_zip` ; do if [ `grep -c $i list` = 0 ] then rm -rf ./ftp.avp.ru/updates_zip/$i fi done #Скачиваем недостающие файлы for i in `cat list`; do if !( [ -f ./ftp.avp.ru/updates_zip/$i ] ) then wget -N -C off ftp://ftp.avp.ru/updates_zip/$i fi done #При необходимости обновляем daily.zip if [ `grep -c daily.zip list` != 0 ] then wget -N -C off ftp://ftp.avp.ru/updates_zip/daily.zip fi rm -rf list rm -rf /mnt/store/public/Avp_bases/*.zip cp -af ./ftp.avp.ru/updates_zip/* /mnt/store/public/Avp_bases rm -rf /mnt/store/public/avp_daily/* echo unpacking bases for i in `ls ./ftp.avp.ru/updates_zip` ; do unzip -L -o -u ./ftp.avp.ru/updates_zip/$i -d /mnt/store/public/avp_daily done rm -rf /mnt/store/public/avp_daily/*.txt

anonymous
()

Вопрос наивный, но всё же. Там была опция - поддержка прокси:
--proxy=on - включить поддержку,
--proxy=off - отключить поддержку.
Вы её задействовать пробовали?

josephson ★★
()

Понятно. Я то думал, ключиками обойтись. Ну в моем случае еще файл с md5sum есть. Его и буду использовать для скриптика.

ansky ★★★★★
() автор топика
Ответ на: комментарий от josephson

Я прописал прокси в /etc/wgetrc. Честно говоря, эту опцию видел, но не сообразил, что это может быть мой случай. Попробую.

ansky ★★★★★
() автор топика

а опцию --follow-ftp (или как там ее) не пробовали? он с хттп страницы может и не сообразить по ftp дальше пошариться

anonymous
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.