Python urllib — стали недоступны определённые адреса

0

1

Хаюшки олл.

Скрипт на третьем питоне использует urllib. Внезапно urlopen() стала упорно выбрасывать «The HTTP server returned a redirect error that would lead to an infinite loop» для определённых адресов, причём wget скачивает те же страницы без проблем. Есть способ победить urllib или другой модуль python3 для чтения веб-страницы?

Ссылка

←	Что лучше для отдачи Fast-CGI: nginx или lighttpd?

чтение файла на javascript в edge, mozilla и яндекс-браузере

→

Санкции ?
:-)

kto_tama ★★★★★
(26.02.22 18:00:48 MSK)

или другой модуль python3 для чтения веб-страницы

2022 на календаре, aiohttp или requests.

vvn_black ★★★★★
(26.02.22 18:04:54 MSK)

Ответ на: комментарий от kto_tama 26.02.22 18:00:48 MSK

Оне, родимыя.

Xenesz ★★★★
(26.02.22 18:09:19 MSK) автор топика

Ссылка

Ответ на: комментарий от vvn_black 26.02.22 18:04:54 MSK

Requests не ставится, aiohttp пощупаю, спасибо.

Xenesz ★★★★
(26.02.22 18:11:12 MSK) автор топика
Последнее исправление: Xenesz 26.02.22 18:12:14 MSK (всего исправлений: 1)

Ссылка

У urllib другой User-Agent, чем у wget - так что сервер их легко различает. И именно urllib не пользуется особой любовью на серверах. Хотя, wget’ом просто загрузить pdf’ку с https://arxiv.org/ тоже нельзя.

gag ★★★★★
(26.02.22 19:07:49 MSK)

Ответ на: комментарий от gag 26.02.22 19:07:49 MSK

Тащемта я всегда на всякий пожарный вставляю юзерагент от браузера, но, может, сервер чересчур умный.

Xenesz ★★★★
(26.02.22 19:11:44 MSK) автор топика

Ссылка

а посмотреть и поправить исходники какая религия запретила?

fMad ★★★
(24.03.22 15:19:32 MSK)

Ответ на: комментарий от fMad 24.03.22 15:19:32 MSK

Религия Legacy Hardware. Найти дистр для архитектуры 386 уже не сразу удаётся, а если ещё отсутствуют некоторые сабсеты инструкций, то проще застрелиться.

Xenesz ★★★★
(03.04.22 14:27:54 MSK) автор топика