aria2 0.12.1+1

>и что она дает, кроме лишней нагрузки на сервер, за что некоторые сервера банят?

Ну во первых на некоторых соединениях (диал-ап, спутник) многопоточная закачка всегда быстрее однопоточной так как из-за больших пингов один поток не может забить весь канал а во-вторых при наличии зеркал грузится гораздо быстрее. Ну и в третьих ещё осталось дофига серверов настроенных под диалап, которые не отдают больше 5-6 кбайт/с на поток

wget-капец?

круто

>и что она дает, кроме лишней нагрузки на сервер, за что некоторые сервера банят?

Время, глупец, экономит. Твоё ничего не стоит, ага.

Вскоре все любители будут кричать: "АРИЯ! АРИЯ! АРИЯ!"

И выйдет Артур Беркут...

>Ну во первых на некоторых соединениях (диал-ап, спутник) многопоточная закачка всегда быстрее однопоточной

Давно ты, по-видимому, не пользовался диалапом :) На практике установлено, что на диалапе одинаково тормозные и однопоточные, и многопоточные закачки.

> А если лить с двух разных зеркал?

ftp так не умеет, это же не torrent

Неплохая штука. Но wget/kget как-то привычнее да и устраивают меня полностью.

>> сегментированную закачку (иногда называют многопоточной) >и что она дает, кроме лишней нагрузки на сервер, за что некоторые сервера банят? >wget и в один поток выбирает под себя всю доступную пропускную способность

Вранье. Я тестировал, в wget скорость была ~5kbps, а в флешгет в vmware на этой же машине ~30kbps в неск. потоков.

> Время, глупец, экономит. Твоё ничего не стоит, ага.

Чье время? Узера или админа?

> Вопрос: есть ли что-то умное для работы с ссылками внутри сложных форматов? (умеет ли это сабж?)

man wget

> Выстави в 5 потоков и живи себе, а если сайт дает только 1 то, опять-таки - что ты потерял

думаю вообще закачать не сможешь, ибо, скорее всего, забанят на несколько часов

>Например, если файл уже есть, но другой версии, меньшего размера.

все банально: ария создает рядом с качаемым файлом файл с такимже именем+.aria2 где хранятся некоторые данные о сегментах файла и тд. Если чтото не так то докачивать она не будет, как и при отсутствии *.aria2

wget у меня не хотел скачивать одну галерею, пришлось, писать скрипт, тем более что wget качает только с html, а както приспичило скачать все обои с kde-look.org :

#!/bin/sh
LINKS=links_for_$1
DIR=${1}_dir
mkdir $DIR
cat $1|grep '<payload>'|awk ' {gsub("<[[:alpha:]/^>]*>","");print $0}'>"$LINKS.txt"
wget -c -i "$LINKS.txt" -P 

всеравно wget не осиливает выдирание ссылок из произвольного xml.

>ftp так не умеет, это же не torren

ему это уметь и не надо, главное найти 2 фпт/хттп с одним и тем-же файлом.

>Это почему? Это быстрее, к тому же пользователи не должны покупать дорогостоящий хостинг, чтобы поделиться фильмом и песней.

Бесплатный сыр? Увеличение скорости происходит за счёт уменьшения скорости у других, надо полагать...

Открой для себя deltup, будет ещё быстрее, даже с wget.

> Добавлена BitTorrent интеграция

А как это понимать вообще? Он теперь еще и торент-клиент или просто мимо проходил?

это недоразумение уже научилось качать файлы больше 2 гигов?

он умеет качать с торрентов давно, но видимо добавилась возможность добавлять ссылки на торренты в metalink. (вообще знатоки английского могут проверить сами)

>это недоразумение уже научилось качать файлы больше 2 гигов?

а когда оно их не качало? я HDDVD качаю этой штукой с некоторой локалки. а там 4 гига только рип и ничего качается.

версия 0.12 регулярно недокачивала образы двд обрываясь на точке около 2 гигов, думал сначала что места на винте нету или сервак отдающий глючит, но после того как вгет сливал все на ура, понял что проблемы именно у арии

wget тоже монстр, перегруженый фичами. зачем его, например, научили парзить фалы с линками? зачем его спайдерить научили? комбайн.

хм, возможно это как раз тот самый баг.

"Автоматическую докачку (без указания дополнительных ключей)" да-а-а... мега фича.

часто удалял закачанный на 90% файл из-за того что не указал -c ?

скачал, пошел тестить

> Flashget под wine.

Какой-то странный юмор.

Помнится в красной шляпе, ещё 7.2 ставил. И была у неё гуёвая морда. Только была просто aria, без 2. Правда, тогда это было довольно убогое поделие.С d4x в сравнение не шло. Хотя и то было говном. Это продожение развития? Или новый проект?

man wget

Without -c, the previous example would just download the remote file to ls-lR.Z.1, leaving the truncated ls-lR.Z file alone.

продолжение. точнее, новый проект изначально того же автора, но переписаный заново, с учётом косяков старой арии.

>продолжение. точнее, новый проект изначально того же автора, но переписаный заново, с учётом косяков старой арии.

эта ария уже без хрипелова

//twodots

>То есть, он там именно многопоточную качку умеет отсекать, а не банально по количеству сессий с одного ip ?

Банально ограничивает кол-во сессий на ip. Я слабо себе представляю, как можно отсекать именно многопоточную закачку.

Оно даже лучше. Жители локалки ищут среди своих вумника и неполиткорректно дрючат всем колхозом, чтоб не занимал лимит...

Идея собрания нескольких ссылок в одной хороша, но почему‐то сайт metalinker.org хостится на Microsoft-IIS.

>думаю вообще закачать не сможешь, ибо, скорее всего, забанят на несколько часов

у нас в локалке, такие умники на месяц бан схлопатывают (это при ограничении в 2 соединения). Админ таким методом 90% альтернативно одарённых обезьянок с флашгетом от этого самого флашгета месяца за три отучил, осталась пара совсем гениев, так те из бани и не вылазят - успевают процента 3 файла скачать, а потом их скриптик опять отправляет мыцца ещё на месяцок...

И все таки Патрик молоток!

>Банально ограничивает кол-во сессий на ip. Я слабо себе представляю, как можно отсекать именно многопоточную закачку.

ну качалка наврено посылает откуда качать, не давать качать тем которые в 2 потока 1 файл качают. Давать только 1 довнлоад + Просмотр фтп (LIST)?

> теоретической??? По макси использовать канал связи --Ширина канала=X, а зеркало1 дает скорость X/n ( и хоть ты тресни), а на другом еще че-то -->> в итоге канал загружен

Может, всё-таки, использовать torrent и не извращаться, если хочется multi-source закачки?

Комбайн какой-то...

>Комбайн какой-то...

да, wget еще тот комбайн

//twodots

>Without -c, the previous example would just download the remote file to ls-lR.Z.1, leaving the truncated ls-lR.Z file alone.

А вот за такое надо бить молотком по йайцам! >:[ Я 2 часа пытался понять, почему мой скрипт вдруг перестал работать, пока не обнаружил, что эта тварь скачивает всё в <filename>.1, вместо того чтобы стереть старый файл..

>Ну во первых на некоторых соединениях (диал-ап, спутник) многопоточная закачка всегда быстрее однопоточной так как из-за больших пингов один поток не может забить весь канал а во-вторых при наличии зеркал грузится гораздо быстрее. Ну и в третьих ещё осталось дофига серверов настроенных под диалап, которые не отдают больше 5-6 кбайт/с на поток

Почитайте, например, Стивенса "Протоколы TCP/IP"

Ключевые слова "Начальный разгон", "Режим избежания заторов", "Емкость канала", "Время ретрансмиссии","RTT". Для начала хватит.

Факультативом можете почитать про алгоритм Нейгла, алгоритм Джекобсона, и T/TCP.

А после этого перечитайте еще раз что Вы написали, и поймете, какой же Вы написали бред.

>То есть, он там именно многопоточную качку умеет отсекать, а не банально по количеству сессий с одного ip ?

У Вас есть идеи, как это вообще проконтролировать можно? Ну хотя бы теоретически.

ps -ef|grep proftpd

и вы увидите статус закачки, eсли например

ftp 7890 5508 11 22:39 ? 00:00:00 proftpd: ftp - 192.168.1.2: anonymous/anonymous@: RETR /upload/AEONFLUX.avi

то килять. Вроде нетрудно?

> в том, что нормальный человевек
Это кто и кто устанавливает критерии?

> вторым-третьим-четвёртым потоком мог бы ещё что-то делать,
Нормальному серваку (lighttpd, nginx) говно вопрос отгружать файло при ТЫСЯЧАХ параллельных соединений.Что 1, что 5 соединений - там мало на что влияет, больше важен суммарный bandwith.Если не быть дятлом и посмотреть как устроен TCP - нетрудно понять что 1-поточная скачка зачастую просто не полностью использует возможности канала.

> а так - 1 и баста. И всё из-за гадов многопоточников.
Мсье туп?А ничего что торент вообще только крепчает от числа качающих и поддерживается этой софтиной?

>>То есть, он там именно многопоточную качку умеет отсекать, а не
>>банально по количеству сессий с одного ip ?

> У Вас есть идеи, как это вообще проконтролировать можно?
> Ну хотя бы теоретически.
У вас есть идеи, нахрена бы это все?Вам важен процесс а не результат?Мало психов будет искать прокси специально чтобы качать с вас в хренадцать потоков.Хотя-бы потому что прокси сами - тормоза.А если юзер качает в эн потоков - так и фиг с ним, если сервак нормально работает.А если не нормально работает сервак - может пора что-то в консерватории править?В конечном итоге или сервак отдаст X гигов Y юзерам за время Z или не отдаст.Сколько там конекций пофигу.Юзер получит файл чуть быстрее но будет меньше времени грузить собой сервер.И сервер или может отгрузить файло всем юзерам за разумный срок или является тормозом которому место на свалке истории, хотя-бы потому что есть bittorrent который такой проблемой не страдает.Короче, рожденные ползать, пшли вон со взлетной полосы, поверьте юзерам будет хорошо и без ваших полудохлых недосерверов 1-поточных которые спасибо если докачку хотя-бы умеют.

> Может, всё-таки, использовать torrent и не извращаться,
> если хочется multi-source закачки?
Так aria2 умеет грузить с торента попутно грузя с http или ftp.И кстати в отличие от http и ftp у торента нормальная проверка целостности того что слито.В случае такой гибридной скачки оно к тому же и на http и ftp экстраполируется - если торент-файл есть, по нему и полученные по иным протоколам данные будут проверены а при нужде и перекачаня.ИМХО неплохо придумано.

за жёсткое ограничени на 5 потоков макс низачот
вот в первой aria можно было 30 или 40 выставить..

Вантузятнег или просто дурак?

> У вас есть идеи, нахрена бы это все?Вам важен процесс а не результат?Мало психов будет искать прокси специально чтобы качать с вас в хренадцать потоков.Хотя-бы потому что прокси сами - тормоза.А если юзер качает в эн потоков - так и фиг с ним, если сервак нормально работает.А если не нормально работает сервак - может пора что-то в консерватории править?В конечном итоге или сервак отдаст X гигов Y юзерам за время Z или не отдаст.Сколько там конекций пофигу.Юзер получит файл чуть быстрее но будет меньше времени грузить собой сервер.И сервер или может отгрузить файло всем юзерам за разумный срок или является тормозом которому место на свалке истории, хотя-бы потому что есть bittorrent который такой проблемой не страдает.Короче, рожденные ползать, пшли вон со взлетной полосы, поверьте юзерам будет хорошо и без ваших полудохлых недосерверов 1-поточных которые спасибо если докачку хотя-бы умеют.

А то, что на один пакет с данными - два пакета со служебной инфой ? ога. Сам посчитаешь "утилизацию канала" (не твоего, на твой какраз похуй, - сервера) при скачке в 50-100 потоков с учётом лимита этих самых пакетов, какойбы длинны они небыли?