cli. дамп web станицы.

Вот скачиваю я страницу при помощи lynx -dump -nolist URL

Оно так разве html выдает, а не отрендеренную страницу? Как ты там ссылки на картинки находишь?

Что-то я второй день экспериментирую с wget, lynx и ничего не могу добиться толкового.

Ну попробуй еще curl :)

wget -O -

Оно так разве html выдает, а не отрендеренную страницу? Как ты там ссылки на картинки находишь?

Да, выдает отрендеренную страницу с такими вот вкраплениями - [somepicture.jpg]

Вот эти somepicture.jpg хотелось бы тоже сграбить....

:-) смотрю и curl...

sed же!

Не пойму как меня выручит sed.

[qwert.jpg] - файл http://site1/qwert.jpg
[trewq.jpg] - файл http://site2/trewq.jpg
[qqqqq.jpg] - файл http://site3/qqqqq.jpg

$ echo '[qwert.jpg]' |sed -r 's,\[([^]]+)\],http://site1/\1,'
http://site1/qwert.jpg

// кеп

а поискать подходящий crawler?

Во! Не дадите наводку?

А то что предложено с sed не подходит. Как я буду заменять [qwert.jpg] на заранее неизвестное http://site1 ?

В полученном dump-е ссылки на картинки заменяются на [blablabla.jpg] Как мне получить в дампе ссылки вида [http://somesite.com/blabla/blablabla.jpg] ?

wget --convert-links ?

Эээххх. Было бы прекрасно так сделать. Давайте я поясню еще что я хочу сделать и получить.

Я хочу получить из веб страницы локальный файл в котором не будет всей той мишуры которую дает wget. Lynx -dump для этого хорошо подходит.

В этом файле должны присутствовать ссылки на локальные файлы изображений. Эти изображения тоже нужно сграбить с целевого сайта.

А как это так - домен сайта заранее не известен?

Домен заранее известен, но изображения-то могут находиться на сторонних ресурсах...

Домен заранее известен, но изображения-то могут находиться на сторонних ресурсах...

А разве lynx -dump не оставляет неизменными img src=""?

А то что предложено с sed не подходит. Как я буду заменять [qwert.jpg] на заранее неизвестное http://site1

откуда я знаю. Выложите кусок файла ДО, и напишите, ЧТО вы хотите получить.

Ну а если в исходных файлах нет домена, то вам поможет исключительно libastral.so.

Если он есть - то это задача для sed.

Ай блин, запутал я видимо народ окончательно. Сделаю наверное так:

отдельно

lynx -dump -nolist

и

lynx -dump -listonly

а потом буду действовать дальше. Поглядим что выйдет.

А разве под линукс нет готовых грабилок?

Во! Не дадите наводку?

Если питон подходит, тогда: http://doc.scrapy.org/en/0.14/index.html (есть интерактив через ipython-shell).