Получить имя файла из HTTP-заголовка curl -I (grep? sed?)

После грепа сделать что то вроде tr -d '\n'

Либо tr -d '\r\n'

а что если сервер тебе не захочет отвечать на запрос HTTP HEAD? error 400 какой-нить :)

> а что если сервер тебе не захочет отвечать на запрос HTTP HEAD? error 400 какой-нить :)

Тогда curl не сможет записать страницу с сообщением об ошибке и выругается "Failed writing body". Если необходимо чётко отследить, все ли файлы скачались, добавляю к именам кусок URL. Но в случае сегодняшнего сайта я уверен в работе всех линков.

> tr -d '\n'

> Либо tr -d '\r\n'

Спасибо, но я надеялся, что можно как-то обойтись одним sed-ом. (А лучше избавиться и от grep-а.)

> Чтобы массово скачать файлы с такого сайта, я ищу в заголовке grep-ом строку вида
> filename="file216.doc"

может проще wget ?

       --content-disposition   honor the Content-Disposition header when
                               choosing local file names (EXPERIMENTAL).

> --content-disposition honor the Content-Disposition header when choosing local file names (EXPERIMENTAL).

Не знаю, включено оно по умолчанию, или действует другая опция, но имена в подобных случаях оно распознаёт и без этого ключа. В таком случае у меня другой вопрос: как ему подсунуть куки, поменять user-agent и игнорировать robots.txt без правки ~/.wgetrc?

не знаю какая версия у тебя (такая возможность есть только в последних), но по идее по умолчанию не включено

wget -e --robots=off ...

  -e,  --execute=COMMAND   execute a `.wgetrc'-style command.
  -U,  --user-agent=AGENT      identify as AGENT instead of Wget/VERSION.
       --load-cookies=FILE     load cookies from FILE before session.
       --save-cookies=FILE     save cookies to FILE after session.
       --keep-session-cookies  load and save session (non-permanent) cookies.
       --content-disposition   honor the Content-Disposition header when
                               choosing local file names (EXPERIMENTAL).

> не знаю какая версия у тебя

1.11.1

> --robots=off

Такой опции не знает. Обновиться?

> -e, --execute=COMMAND

Спасибо, не знал.

> -U, --user-agent=AGENT

Починили уже?

> --load-cookies=FILE --save-cookies=FILE --keep-session-cookies

Спасибо.

вообще если какие то проблемы, то у wget есть очень полезная опция --debug, и с прошлого года у них есть bugtrack за которым следят

> 1.11.1

должно быть достаточно, можно не обновлять

> --robots=off Такой опции не знает.

опции --robots=off нет, есть -e --robots=off которая действует как написано выше ("robots=off" учитывается как строка из wgetrc)

> -U, --user-agent=AGENT Починили уже?

у меня всё работает, но если есть проблемы используй --header "User-agent: Opera" (тоже делает замену заголовка, так можно и с другими, в том числе cookies или левой авторизацией)

> --header "User-agent: Opera"

Спасибо.