параллельная загрузка маленьких файлов

Качают с разных серверов. Иначе боттлнеком будет сервер, с которого качаешь.

а чем? cURL, wget ...

Программой FileZilla, умеет очень быстро качать в нескольких потоках.

1. скриптик, запускающий множество wget/curl ??
2. если есть доступ к исходной стороне tarить файлики и сжимать если сжимаемы.

gnu parallel + wget, curl ...

tar-ят вначале

1) На С, используя libcurl. По сравнению со скриптом на curl ускоряется в 3-5 раз. 2) Не закрывать соединение, если позволяет сервер, грузить много файлов через один коннект (это ускоряет в 10 раз). Этого мне хватало, чтобы загрузить канал 5Мбит с двух серверов.

Дальше проблеммы с ФС и винчестером: кончаются и-ноды; без дефрагментации ерзает головка, винчестеры летят «только в путь» (при использовании скаченного - летят также). Падают (или виснут) отдающие сервера, банят IP или ограничивают канал ~1Мбит, и т.д.

(Что за файлы? 2-20Кб или 1-10Мб ? Сколько отдающих серверов?)

Успехов. (Расскажите о достижениях)

А грузить файло в озушку не ? Легче озушки прикупить, чем гонять файло по винту.

Ога,+ смарт бесперебойник, чтобы отлавливать отключение света и синкать с озушки на винт.

Была такая мысль, чтобы писать буфера на винт в один поток, а не «каждый качатель пишет свой файл». Но не делал, плюнул.

torrent протокол не пробовал ?