LINUX.ORG.RU

Selenium для js сайта

 , , ,


0

1

Есть в выборке сайты, полностью работающие на js, отдающие только шапку с подвалом не динамично, так вот, что с такими пациентами делать? Scrapy не справится, ставить bas виндовый не хочется, писать на Яве с хтмлюнитом тоже, хочется в рамках питона данные сайты обработать. Селениум справится с жёстким js, когда весь контент динамичный?

Ответ на: комментарий от MrClon

Иногда сайты умеют определять, что браузер автоматизирован селениумом, и отдавать ему 404 вместо страницы. Обойти где-то можно всякими подменами юзер-агента, где-то нет.

Zhbert ★★★★★
()