Выкачивание набора файлов с ресурса, на который вначале требуется сделать вход через логин-пароль

0

1

Здравствуйте!

Как бы вы решали такую задачу:

Есть WEB-ресурс, с которого надо скачать заранее известный набор файлов. Проблема в том, что на ресурс требуется вначале залогиниться через формочку, введя логин-пароль.

Поэтому напрямую файлы через WGET не скачаешь. Что можно сделать в такой ситуации? У меня пока два направления:

1. Замутить что-то на Firefox с Greasymonkey. Проблема в том, что неясно, как через JavaScript скачивать файлы. Генерировать GET-запрос? Но даже если это сделать, то для каждого загружаемого файла придется вручную жмякать «Сохранить» - «Ок».

2. Зайти через Firefox вручную, потом выдрать сессию, пихнуть ее в WGET и скачать файлы. Как-то замороченно получается честногря, и не уверен что одними сессиями можно обойтись для подмены браузера на WGET.

Вопрос. По какому направлению двигаться? Есть ли еще какие пути решения?

Ссылка

←	models.Model поля в единственном экземпляре

Опасность использования юникода

→

Можно сделать скрипт который будет вводить данные.

~~XoFfiCEr~~ ★★☆☆
(05.04.12 00:01:09 MSK)

И даже скачивать, сможет сам. Только придется User Agent изменить.

~~XoFfiCEr~~ ★★☆☆
(05.04.12 00:04:10 MSK)

Ссылка

wget --load-cookies=«путь к кукам» ....

april
(05.04.12 00:07:12 MSK)

Ссылка

Ответ на: комментарий от XoFfiCEr 05.04.12 00:01:09 MSK

Можно сделать скрипт который будет вводить данные.

На чем скрипт?

Xintrea ★★★★★
(05.04.12 00:10:44 MSK) автор топика

curl --cookie-jar <file> -F ...=... -F ...=... http://.../login.cgi
curl --cookie-jar <same file> -O http://.../<file mask for curl>

AITap ★★★★★
(05.04.12 00:13:47 MSK)

Ответ на: комментарий от Xintrea 05.04.12 00:10:44 MSK

Вопрос авторизации на сайтах обсуждался ранее на стороннем форуме. Скрипт на python.

~~XoFfiCEr~~ ★★☆☆
(05.04.12 00:15:08 MSK)

Ответ на: комментарий от XoFfiCEr 05.04.12 00:15:08 MSK

Вопрос авторизации на сайтах обсуждался ранее на стороннем форуме.

На каком?

Скрипт на python.

Чем обусловлен выбор python? В PHP возможна та же самая функциональность?

Xintrea ★★★★★
(05.04.12 00:39:55 MSK) автор топика

Проблемы с links (комментарий)

~~sdio~~ ★★★★★
(05.04.12 00:47:53 MSK)

Ссылка

Ответ на: комментарий от Xintrea 05.04.12 00:39:55 MSK

Насчет php не знаю.

~~XoFfiCEr~~ ★★☆☆
(05.04.12 01:13:13 MSK)

Ссылка

Ответ на: комментарий от Xintrea 05.04.12 00:39:55 MSK

Чем обусловлен выбор python? В PHP возможна та же самая функциональность?

Ты чо, потсан,не знаешь, что ПХП - это не круто?

r_asian ★☆☆
(05.04.12 07:46:02 MSK)

Ссылка

Смотришь(например с помощь firebug или тупо в html-коде) куда отправляяется форма и какие у неё поля, затем, пишешь скрипт, использующий curl, который

1. Пытается скачать ресурс, использую куки из файла

2. Если скачивание не удалось (по ряду формальных признаков), посылаешь POST туда же, куда и форма авторизации, с полями, заполненными правильными данными для авторизации. Только не забудь ключик поставить, чтобы редиректам следовал. Полученные куки сохраняешь в файл.

3. Снова пробуешь п.1

r_asian ★☆☆
(05.04.12 07:52:49 MSK)

Ссылка

Ответ на: комментарий от AITap 05.04.12 00:13:47 MSK

curl --cookie-jar <file> -F ...=... -F ...=... http://.../login.cgi
curl --cookie-jar <same file> -O http://.../<file mask for curl>

Во второй строчке видимо имелось в виду не --cookie-jar а просто --cookie?

Xintrea ★★★★★
(05.04.12 09:29:15 MSK) автор топика

Обычно кукисов достаточно, еще можно подделать UA, при необходимости и реферер. Юзал CURL, вызываемый из php, удобно и красиво.

Можно имитировать вход на сайт, это если выдирать файлы с него надо регулярно, а сессия живет, допустим, сутки. Если html-форма простая, можно отправлять CURL-ом нужный запрос, если не получается, можно перехватить запрос браузера и рассмотреть, какие там поля есть, и отправлять такой же.

amomymous ★★★
(05.04.12 11:59:06 MSK)