LINUX.ORG.RU
Форум — Admin  

Скачивание сотен тысяч файлов по FTP в десятках тысяч каталогах

 ,


0

2

Задача: периодическое скачивание сотен тысяч МЕЛКИХ файлов по FTP в десятках тысяч каталогах. Кроме FTP ничего нет! Чем правильнее всего качать? lftp что то очень медленно качает и по моему только в один поток.

← rsync автоматический ввод паролей SSH
Два sip-клиента на одной учётной записи →

Если про многопоточность, то можно накостылить что-то типа такого

 file-list | xargs -P Количество-Потоков -n1 wget -q --restrict-file-names=nocontrol -rnH
Где file-list - строки с полным URL заключенным в апострофы(а то пути с пробелами не сработают)
Как file-list получать решайте сами, вариантов хватает.

anc ★★★★★
()
Ответ на: комментарий от anc

ЗЫ ошибся, у wget еще ключик -l1 нужен

anc ★★★★★
()

некоторые ftp сервера умеют архивировать на лету.

просишь у такого dir.tar, которого у него нет, но есть каталог dir и он тебе отдает результат «tar -c - dir». (proftpd & mod_tar)

Качать по-одному - действительно медленно, но если клиент умеет mget, то все не так плохо.

vel ★★★★★
()
Ответ на: комментарий от int13h

Я пробовал так синхронизиоровать тайлы панорам. Не взлетело - ад и израиль. Жутко тормозно. Тарить, качать тар, растаривать. Только так.

dk- ☆
()
Ответ на: комментарий от int13h

Это не осилил. Да и тарить меня устроило.

dk- ☆
()

За xarg спасибо, но действительно не взлетает! А вот про затарку по ftp это отличная идея, сейчас посмотрю на сколько часто это поддерживается.

Кстати, а утилит или клиентов для закачки консольных нет, которые автоматом пытаются так качать?

Moderatorh
() автор топика
Ответ на: комментарий от Moderatorh

За xarg спасибо, но действительно не взлетает!

Хм, у меня взлетело, я сначала написал, потом все-таки решил проверить, поэтому и позже про ключ -l1 написал.

anc ★★★★★
()
Ответ на: комментарий от Moderatorh

Кстати, а утилит или клиентов для закачки консольных нет, которые автоматом пытаются так качать?

ncftpget

anc ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
← rsync автоматический ввод паролей SSH
Admin
Два sip-клиента на одной учётной записи →