LINUX.ORG.RU
решено Форум — Admin  

Хитрый wget

 , , ,


1

2

Доброго дня.
Никак не могу додуматься как заставить wget или curl рекурсивно выкачивать файлы по ссылке с определенным описанием.
Например на сайте 200 картинок, каждую можно скачать нажав на ссылку «скачать картинку», которая в свою очередь выдаёт файл. Т.е. в коде html нет вообще линков на картинки, линки генерятся динамически. Есть вариант заставить wget или curl «пожамкать» все ссылки с текстом «скачать картинку» на сайте ?

Deleted
← Слетают маршруты при раздаче интернета с Whonix по ethernet, на хосте стоит USB Wifi.
Перегрузить сервис в стеке ранчера →

Нет. Может быть можно написать велосипед, парсящий этот html регэкспами, но если там JS, то это не вариант.

mky ★★★★★
()

downloadthemall умеет в wget по-моему, там ещё пара каких-то дополнений к нему нужна

anonymous
()

Если там POST какой-нибудь или «Content-Disposition», то wget-ом и обвязкой из парсера html можно будет протыкать.

Radjah ★★★★★
()
Ответ на: комментарий от mittorn

Да, внезапно. Он теперь даже стал конкурентоспособен по отношению к хромиуму, глупо от него отказываться только потому что это мозилла уволила вот его https://ru.wikipedia.org/wiki/Эйх,_Брендан (толстый намёк).

anonymous
()
Ответ на: комментарий от anonymous

А вот и ещё одна причина проигнорировать квантум

mittorn ★★★★★
()

Я делал так: открывал картинку в хроме. Потом на ней правой кнопкой и =Копировать URL картинки=. В ней обычно прописан путь. Ну и потом скриптик например на sh который парсит этот каталог. Если конечно все картинки лежат в одном месте.

Bootmen ☆☆☆
()

Проблему решил довольно тупо, но относительно малой кровью. Просто начал выкачивать всё что есть и периодически удалять все ненужные типы файлов.

Deleted
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
← Слетают маршруты при раздаче интернета с Whonix по ethernet, на хосте стоит USB Wifi.
Admin
Перегрузить сервис в стеке ранчера →