LINUX.ORG.RU
Форум — Admin  

Автоматическое получение elite-proxy через wget с proxy-list.org


0

0

Такой скрипт: 

tmpDir="/tmp/getproxy"
wgetLoadOptions="--load-cookies=cookies.txt --keep-session-cookies"
wgetSaveOptions="--save-cookies=cookies.txt --keep-session-cookies"
hostpage="proxy-list.org/en/index.php"

mkdir $tmpDir
cd $tmpDir

# Retrieve a captcha.
wget $wgetSaveOptions -p $hostpage

#eog $tmpDir/proxy-list.org/en/captcha.php*

# Entering captcha.
echo "Enter captcha:"
read captchaText

postString="'user_code=$captchaText&Submit=Enter'"
echo $postString

# New query within post-parameters and same cookies.
wget $wgetLoadOptions --post-data=$postString $hostpage -Oafter.html
firefox after.html

#rm /tmp/get-proxy -R

На hostpage находятся анонимные прокси, которые я хочу выцепить, но они открываются только после ввода капчи. Я скачиваю страницу первый раз, сохраняя куки, ввожу капчу и обновляю страницу с теми же куками и post-параметрами.

ЕбИгрался очень долго, не понимаю, почему не работает. Хочу добить до конца именно этот вариант - другие не нужно предлагать.

★★
← 550 relay not permitted
проблема с mdadm raid5 →

Доигрался, получилось :) 

wget --save-cookies cookies --keep-session-cookie proxy-list.org/en/index.php -p

wget --load-cookies cookies --keep-session-cookie --post-data='user_code=fizli' proxy-list.org/en/index.php -Ores.html

bk_ ★★
() автор топика
Ответ на: комментарий от bk_ 
tmpdir="/tmp/getproxy"
load_cookies="--load-cookies cookies --keep-session-cookie"
save_cookies="--save-cookies cookies --keep-session-cookie"

page="proxy-list.org/en/index.php"

mkdir $tmpdir
cd $tmpdir
rm * -R

wget $save_cookies $page -p
mv ./proxy-list.org/en/captcha* ./captcha.jpeg
eog $tmpdir/captcha.jpeg &
echo "Enter captcha:"
read captchaText
post_query="'user_code=$captchaText'"

#SEE HERE!!!!!
echo "wget $load_cookies --post-data $post_query $page -Oresult.html" > script.sh

chmod u+x ./script.sh
./script.sh

firefox result.html &
#rm /tmp/get-proxy -R

Переписал так, работает. Правда, так и не понял, почему если сделать вместо 

echo "wget $load_cookies --post-data $post_query $page -Oresult.html" > script.sh

chmod u+x ./script.sh
./script.sh
вот так 
wget $load_cookies --post-data $post_query $page -Oresult.html

, то последний вариант не работает. Долго-долго долбался, пока сделал (1 вариант), чтобы работало.

Но почему второй вариант не пашет? That is a question.

bk_ ★★
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
← 550 relay not permitted
Admin
проблема с mdadm raid5 →