Как распарсить такой сайт?

0

1

Дано:
На сайте строчками информация. Все изначально подгружается хитрожопомегатонными скриптами, поэтому напрямую не вышло. Использую Phantom.JS

Но! Даже с ним не все парсится. Дело в том, что все что сильно ниже экрана как бы удаляется, и видно как оно появляется после прокрутки.

Как такое парсить?

Ссылка

←	Comodo PositiveSSL

WordPress database error (Apache2 + WordPress + Postgresql)

→

Реверс скриптов.

crutch_master ★★★★★
(14.03.17 10:40:04 MSK)

Я слышал есть специальные дополнения для браузеров, которые позволяют внешним программа анализировать показываемое содержимое.

А ещё если у сайта есть упрощённая или мобильная версия, то стоит парсить её.

~~rezedent12~~ ☆☆☆
(14.03.17 11:02:24 MSK)

Ответ на: комментарий от crutch_master 14.03.17 10:40:04 MSK

Реверс скриптов

Хотел сначала. Насилил - слишком большой объем. Хотя один сайт так отреверсил, но там сильно проще было

Qwentor ★★★★★
(14.03.17 11:10:07 MSK) автор топика

Ответ на: комментарий от rezedent12 14.03.17 11:02:24 MSK

Упрощеннной / мобильной версии нет

Qwentor ★★★★★
(14.03.17 11:10:52 MSK) автор топика

Ответ на: комментарий от Qwentor 14.03.17 11:10:07 MSK

Есть какая-то херня на java, которая эмулирует браузер, скрипты, парсит dom, но ничего не рисует. Забыл как называется.

crutch_master ★★★★★
(14.03.17 11:14:44 MSK)

Ответ на: комментарий от crutch_master 14.03.17 11:14:44 MSK

selenium

bvn13 ★★★★★
(14.03.17 11:15:01 MSK)

Ответ на: комментарий от bvn13 14.03.17 11:15:01 MSK

Точно.

crutch_master ★★★★★
(14.03.17 11:17:10 MSK)

Ссылка

Ответ на: комментарий от Qwentor 14.03.17 11:10:52 MSK

Упрощеннной / мобильной версии нет

Попробуй зайти на сайт через linx

~~rezedent12~~ ☆☆☆
(14.03.17 11:23:56 MSK)

Ссылка

Посмотреть каким-нибудь фидлером запросы которые оно посылает при запросе нового контента.

Dred ★★★★★
(14.03.17 11:25:55 MSK)
Последнее исправление: Dred 14.03.17 11:26:02 MSK (всего исправлений: 1)

Ссылка

Почему нельзя просто открыть в браузере панель запросов, выцепить нужные и дёргать их напрямую?

Kilte ★★★★★
(14.03.17 13:39:16 MSK)

Ответ на: комментарий от Kilte 14.03.17 13:39:16 MSK

Говорит, пробовал, не получилось.

crutch_master ★★★★★
(14.03.17 13:42:04 MSK)

Инжектить свой js, который будет прокручивать сайт

sholom ★
(14.03.17 13:44:08 MSK)

Ответ на: комментарий от crutch_master 14.03.17 13:42:04 MSK

Что конкретно не получилось? Может заголовков каких не хватает.

Kilte ★★★★★
(14.03.17 14:11:58 MSK)

Ответ на: комментарий от Kilte 14.03.17 14:11:58 MSK

Не вижу запросов вообще. Смотрю через инструменты разработчика. Когда открыта страница идут запросы только на mc.yandex.ru (вроде так, ща не за компом), причём в теле ответа ничего ясного

Qwentor ★★★★★
(14.03.17 14:16:01 MSK) автор топика

Ответ на: комментарий от Qwentor 14.03.17 14:16:01 MSK

Да не может быть такого. Оно же их грузит откуда-то.

mc.yandex.ru

Это зонд, там ничего интересного не будет.

Kilte ★★★★★
(14.03.17 15:06:05 MSK)
Последнее исправление: Kilte 14.03.17 15:06:39 MSK (всего исправлений: 1)

Ответ на: комментарий от sholom 14.03.17 13:44:08 MSK

Нафига, если селениумом можно пробел жамкать.

Shadow ★★★★★
(14.03.17 18:28:55 MSK)

Ссылка

Ответ на: комментарий от Qwentor 14.03.17 14:16:01 MSK

магия в треде! фильтр типа запросов не забыл переключить случаем?

genryRar ★★
(15.03.17 03:03:22 MSK)

Ссылка

Ответ на: комментарий от Kilte 14.03.17 15:06:05 MSK

Да не может быть такого. Оно же их грузит откуда-то.

Там, наверное, websockets. Тогда только 1 upgrade запрос будет показываться.

ThrowOut
(15.03.17 19:22:57 MSK)

Ответ на: комментарий от ThrowOut 15.03.17 19:22:57 MSK

Там веб-приложение на Ангуляре, тонна кода. А эти websockets как-то отловить и сымитировать реально?

Qwentor ★★★★★
(15.03.17 19:29:47 MSK) автор топика

Ссылка

E L E C T R O N
L
E
C
T
R
O
N

anonymous
(15.03.17 20:06:32 MSK)

Ссылка

Ответ на: комментарий от ThrowOut 15.03.17 19:22:57 MSK

Да, вебсокеты, поставил плагин в Firefox - вижу вот такую абракадабру:

http://prnt.sc/ekcauq

Что с этим делать?

Qwentor ★★★★★
(15.03.17 20:23:36 MSK) автор топика

Ответ на: комментарий от Qwentor 15.03.17 20:23:36 MSK

найти обработчик принятых событий в коде и посмотреть, что он с этими бинарниками делает. наверняка декодирует. а там видно будет, что с этим делать дальше.

а дальше любой клиентской либо симулировать. только бери готовую, писать ее самому то еще удовольствие..

з.ы. хром имеет встроенное средство для отладки вебсокетов, возможно оно более функционально.

genryRar ★★
(15.03.17 21:52:18 MSK)

Ссылка

Ответ на: комментарий от Qwentor 15.03.17 20:23:36 MSK

WebSocket Monitor? Он пока только в латиницу умеет: https://github.com/firebug/websocket-monitor/issues/66 Полагаю, поэтому на месте Query String - трэш, как будто это бинарное значение.

anonymous
(15.03.17 22:12:21 MSK)