LINUX.ORG.RU

Wget2

 ,


2

1

Вышла бета-версия wget2 — переписанной с нуля качалки-«паука» wget.

Главные отличия:

  • Поддерживается HTTP2.
  • Функционал вынесли в библиотеку libwget (LGPL3+). Интерфейс ещё не стабилизировали.
  • Многопоточность.
  • Ускорение за счёт сжатия HTTP и HTTP2, параллельных соединений и If-Modified-Since в заголовке HTTP.
  • Плагины.
  • FTP не поддерживается.

Судя по мануалу, интерфейс командной строки поддерживает все ключи последней версии Wget 1 (кроме FTP) и добавляет много новых, главным образом, связанных с новыми методами аутентификации и HTTP2.

И вторая ложка дёгтя помимо FTP: к разработке причастен один из идейных противников компрессора XZ. Все архивы выкладываются как tar.gz или tar.lz.

>>> Объявление в рассылке info-gnu

★★★★★

Проверено: Shaman007 ()
Последнее исправление: Shaman007 (всего исправлений: 1)

к разработке причастен один из идейных противников компрессора XZ

А чем обосновывает?

XMs ★★★★★
()

Отлично, можно выкидывать aria2.

Все архивы выкладываются как tar.gz или tar.lz.

Какая разница в чём архивы? Ставить всё-равно удобнее, через менеджер пакетов дистрибутива.

zabbal ★★★★★
()
Ответ на: комментарий от hippi90

NIH или есть нормальная причина?

Лет 10 назад тогдашний мэйнтэйнер сказал, что некоторые баги без этого исправить нереально. Речь шла о неправильном фильтровании URL-ов HTML.

question4 ★★★★★
() автор топика
Ответ на: комментарий от zabbal

Какая разница в чём архивы?

XZ вытеснил LZ и по умолчанию есть везде, кроме самых экзотических дистрибутивов. LZ агрессивно продвигает разработчик ed :)

А GZ примерно вдвое больше.

question4 ★★★★★
() автор топика
Последнее исправление: question4 (всего исправлений: 1)
Ответ на: комментарий от anonymous

В сокс все ещё не умеет?

Не уверен. Как иначе это называется? Какие-то «sockets» добавили, много новых фич для прокси.

question4 ★★★★★
() автор топика
Ответ на: комментарий от XMs

А чем обосновывает?

Не выяснял. Просто с некоторых пор вместо xz стало lz.

question4 ★★★★★
() автор топика
Ответ на: комментарий от Shaman007

Тогда надо добавить wget или wget2 в LFS. По состоянию на LFS 8.1-systemd, там был только FTP-клиент, wget точно не было, ЕМНИП curl тоже не было.

Infra_HDC ★★★★★
()
Ответ на: комментарий от XMs

https://www.nongnu.org/lzip/xz_inadequate.html

https://news.ycombinator.com/item?id=12768425

В общем, он парирует к неустойчивости xz к повреждениям и к переусложненности формата (у него даже отсутствует полное формальное описание). Скажем так - xz годится, когда ваши данные зеркалятся на сотню девайсов. Если вы делаете единственный бекап в этом формате - битфлип может обернуться полностью невосстанавливаемой копией.

anonymous
()
Ответ на: комментарий от Shaman007

Не всем ненужен FTP. Корявым его стали называть когда появился вброс что, дескать, FTP-серверы больше не развиваются. Однако, это не так. Новые версии FTP-серверов и FTP-клиентов продолжают выходить.

saahriktu ★★★★★
()
Ответ на: комментарий от Shaman007

Задача такого рода софта не решать за пользователя нужен ему или нет какой-то протокол, а давать его, раз он существует. Если не осилили - это одно, а если в принципе не хотят его добавлять - это уже мозговые тараканы, тем более, что что это один из самых старых и при том до сих пор употребимых протоколов.

praseodim ★★★★★
()
Последнее исправление: praseodim (всего исправлений: 1)
Ответ на: комментарий от saahriktu

Для вас остается wget v1. Сложно придумать юзкейс, когда применение фтп оправдано в 2019. С повсеместным внедрением ипв6, возможно, ему придет вторая жизнь.

anonymous
()
Ответ на: комментарий от anonymous

А в http2 curl умеет с 2014, что даже немного раньше, чем окончательное утверждение http2.

Зачем нужен wget и особенно его либа, если можно было написать обертку для курла?

anonymous
()
Ответ на: комментарий от anonymous

Сложно придумать юзкейс, когда применение фтп оправдано в 2019.

Если некоторый контент доступен только по ftp - это достаточный юзкейс или нет?

praseodim ★★★★★
()
Ответ на: комментарий от praseodim

Вся надежда, что FTP добавят позже или вынесут в плагины.

question4 ★★★★★
() автор топика
Ответ на: комментарий от Shaman007

FTP может и ненужен, но вгет без его поддержки при наличии оного с поддержкой - ненужен еще сильнее.

anonymous
()
Ответ на: комментарий от praseodim

Если некоторый контент доступен только по фтп в 2019 году - это значит, что его никто не поддерживает, ведь поднять http дело пяти минут. Стало быть, он не особо и нужен.

anonymous
()
Ответ на: комментарий от anonymous

Зачем нужен wget и особенно его либа, если можно было написать обертку для курла?

Обёртки существуют давно (более 15 лет), но почему-то ими почти никто не пользуется.

question4 ★★★★★
() автор топика
Ответ на: комментарий от question4

Обёртки существуют давно (более 15 лет), но почему-то ими почти никто не пользуется.

Я удивлен, что самим вгетом кто-то пользуется. Я вот например не знал до вчерашнего дня, что он не умеет юзать соксы и не умеет http2.

anonymous
()
Ответ на: комментарий от anonymous

Для вас остается wget v1

Ещё curl и lftp.

Сложно придумать юзкейс, когда применение фтп оправдано в 2019.

Это просто протокол файлохранилищ. Чтобы было удобно выкладывать и качать файлы. А не как в этих ваших облаках, которые теперь большинству заменили FTP'шники.

Даже странно что с появлением этих неудобных облаков так быстро стали забывать про человеческие FTP'шники.

saahriktu ★★★★★
()
Последнее исправление: saahriktu (всего исправлений: 1)
Ответ на: комментарий от saahriktu

человеческие ftp плохо работают за натом и не обеспечивают вообще никакой безопасности

anonymous
()
Ответ на: комментарий от anonymous

Во первых, это пользователю решать нужен ему контент или нет старый он там или новый.

Во вторых, если он доступен по ftp - это значит только то, что владелец сервера его использует и ничего более.

Отдельно замечу, что контент не только скачивают, но и заливают и заливать на сервер объемный контент таки несколько проще в ftp, а не в http. Притом в первую очередь для владельца сервера.

praseodim ★★★★★
()
Последнее исправление: praseodim (всего исправлений: 1)
Ответ на: комментарий от sn

Что такое FTP,

Протокол для раздачи файлов. С поддержкой докачки.

почему это кого-то волнует?

Потому что удобнее написать wget ftp://ftp.wtfserver.org/somearchive.zip и получить файл с корректной датой модификации, несмотря на плохой канал с разрывами. Чем извращаться с остальными способами.

question4 ★★★★★
() автор топика
Ответ на: комментарий от question4

Кстати, sftp вообще довольно популярен среди сидбоксов. Не знаю, поддерживает wget2 протокол sftp или тоже «не нужен».

praseodim ★★★★★
()
Ответ на: комментарий от anonymous

Тем, что FTP изначально разработан конкретно для передачи файлов. HTTP же изначально был всего-лишь альтернативой gopher'у, т.е. был рассчитан на создание менюшек (которые со временем усложнились до веб-сайтов).

saahriktu ★★★★★
()
Ответ на: комментарий от saahriktu

изначально разработан конкретно для передачи файлов

И при этом тотально сосёт на передаче файлов у протокола передачи текста.

Дальше что?

anonymous
()
Ответ на: комментарий от saahriktu

FTP изначально разработан конкретно для передачи файлов

С именами из исключительно в ASCII, любое отклонение от - как /dev/urandom ляжет.

Закапывайте.

LamerOk ★★★★★
()
Ответ на: комментарий от praseodim

зачем вы спорите с ит-фошистами?:)

ну выкинули, да и пофиг, есть же нормальные клиенты. а фтп не такой уж плохой. для локалки это до сих пор самый быстрый протокол передачи файлов.

Rost ★★★★★
()
Последнее исправление: Rost (всего исправлений: 2)
Ответ на: комментарий от LamerOk

С именами из исключительно в ASCII, любое отклонение от - как /dev/urandom ляжет.

Риски что где-то чего-то не так пойдет с именами отличными от ascii есть у всех протоколов. Про конечную систему тоже не забываю.

Я собственно не хочу сказать, что FTP - отличный протокол, у него по современным меркам действительно много недостатков, но вот это в "колбасе ftp потребности нет" раздражает. Это не им решать есть или нет потребность.

praseodim ★★★★★
()
Ответ на: комментарий от Rost

Да вроде GNU такой упоротостью до сих пор не отличались или не сталкивался. Я не про лицензионные дела, а вот это чисто техническое насчет того нужен или нет протокол.

Вообще, традиционно мир свободного ПО отличался как раз тем, что давал намного больше свободы делать что угодно, даже если оно экзотичное и нужно мало кому.

Теперь же придумали лечить своих пользователей, что им нужно, а что им не нужно.

praseodim ★★★★★
()
Последнее исправление: praseodim (всего исправлений: 1)
Ответ на: комментарий от LamerOk

Ну так возьми и сделай! Чё ты как этот? Опенсурс же.

Я к вопросу о нужности сабжа.

anonymous
()
Ответ на: комментарий от praseodim

Это не им решать

Вообще-то, раз делают они, то и решать им. А ты своё ценное мнение можешь засунуть себе в комментарий на ЛОРе.

LamerOk ★★★★★
()
Последнее исправление: LamerOk (всего исправлений: 1)
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.