Я склоняюсь к получению данных из веб-сервисов при помощи selenium

Ты видимо даже близко не представляешь на сколько это все будет тормозить? Зачем селениум?

Какие варианты есть с современным вебом?

Я твоих задач не знаю поэтому и советовать что-то конкретное не могу. Просто говорю, что селениум дико тормозит. Я его юзал на гугло-плюсе. Жрет память и проц, жутко медлено и до кучи зависает. Поэтому как селениумом получить много-много данных - не представляю.

Ну зачем тебе Hadoop, откуда ты кластер и столько данных возьмешь. Начни с малого.

Поставим вопрос иначе: как БЕЗ селениума получить много-много данных без много-много программистов? Давайте начнём с того, очень много ресурсов либо вообще не работают без кук (и даже авторизации) и JS нормально, либо там такая каша кода на каждой страницы, что ни в один регексп их не запихнешь. В теории, можно попробовать юзать PhantomJS с селениумом, но он очень нестабильный и многих функций не поддерживает.
Я уж молчу о том, что любые регекспы и системы парсинга слетят нафиг при любой нестандартной ситуации (включая обновления дизайна, даже если оно для юзера незаметно).
Тем более, я обладаю возможностью запускать свой софт на десятках серверов параллельно. Кстати, selenium GRID позволяет делать это без особых проблем.

Но меня куда более волнует вопрос последующей обработки данных, а не их получения.

Ну зачем тебе Hadoop, откуда ты кластер и столько данных возьмешь. Начни с малого.

Кластер уже есть, я ж админом работаю.

И если начинать с малого, то с чего начать?

Попробуй вот это http://pandas.pydata.org в дополнение к Selenium.

https://jupyter.org И вот это для непосредственно баловства.

А Вы сами что-нибудь из это пробовали? У панд малуал с целую книгу. Кстати, я правильно понимаю, что панды надо юзать для препроцессинга данных, а ждупитер - как это GUI в браузере для моих приложений?
А для процессинга и работы с графами что юзать?

Имеет ли смысл выбрать R?

Другого варианта нет.

Обоснуйте. Чем питон и ява с соответствующими либами плохи?

Если обязательно нужен JS и авторизация и на сколько я понял это должно быть средство достаточно универсальное - то я не знаю, я бы с таким даже заморачиваться не стал. Ты для каждого ресурса будешь пользователя заводить? А если его забанят? Нового будешь регить?

Ты для каждого ресурса будешь пользователя заводить? А если его забанят? Нового будешь регить?

В данном случае это имеет смысл.

Допустим, у нас веб-страница без JS и авторизации. Что тогда юзать, чтобы оно от каждого чиха не разваливалось?

http://www.ibm.com/developerworks/ru/library/bd-learnr/index.html
Еще мат. статистика вам нужна.

«Эта возможность не нужна абсолютно всем» годное выражение, записал. :) Надо будет бздунам почаще писать так...

нафига тебе хадуп если данные ты селениумом получать хочешь?

Опять же зависит от конкретных задач. Для общего случая сложно но можно идти по такому пути: 1. Парсим HTML, выделяем блоки с данными. 2. Анализируем какие данные нужны нам (выкидываем повторяю шиеся на всех страницах, явно служебные и т.д) Подробнее лень писать, я щас с телефона. Погугли. И да регекспы не нужны тут.

Кстати для селениума тебе придется писать тот же код для каждого источника. Он поможет только в том, что иногда для него будет проще написать скрипт, в том плане что не нужно анализировать что делает JS на каждом конкретном сайте.

Я не совсем понял, как Вы так хитро без регекспов собираетесь «блоками» вырывать контент. Прошу пояснить. Какая-то хитрая библиотека?

У меня создаётся впечатление, что Вы с сайтами реальными не работали в плане парсинга, либо не поняли возможностей селениума в плане DOM, X-Path, CSS селектинга.

нафига тебе хадуп если данные ты селениумом получать хочешь?

Над набором данных я буду совершать не один анализ же, ПО будет дописываться, а вот база - постоянно расти. Морфологический парсинг и нахождение связей - это очень дорогие операции на больших объёмах данных.

База всегда (почти) растёт со временем, вопрос в скорости, которую может обеспечить способ её добычи.

А давай без фантазий: сколько данных будет по факту?

База всегда (почти) растёт со временем, вопрос в скорости, которую может обеспечить способ её добычи.

Не вижу проблем в селениуме: я уже говорил, что могу запускать его на кластере (на работе). Причём работать он может постоянно. За пару месяцев база будет огроменной.
Мало того, Вы, видимо, не знаете, что селениум может даже на одной машине запускать множество браузеров.
Тут параллельное приложение с самого начала будет.

хочешь бигдату? собирай данные из /dev/random/

А давай без фантазий: сколько данных будет по факту?

Ну давайте посчитаем: 10Кб со страницы, в день 10 (страниц в секунду на одном сервере)*30(серверов)*3600(час)*24(часов в сутках)*10(вес страницы в Кб)/1024 = 253125 Мб в сутки.
Т.е. за два месяца будет 14831 Гб. Со сжатием, думаю, около 3-5 Тб.

хочешь бигдату? собирай данные из /dev/random/

Иди в МДК лалок троллировать, не лезь в мой ЛОР.

См. пост выше. Что, внезапно, и на селениуме можно ехать, если делаешь это на кластере? :)

Ну что: сдулся? Или что-нибудь насоветуешь?

15Тб это не так много, бери оракл

Т.е. за два месяца будет 14831 Гб. Со сжатием, думаю, около 3-5 Тб.

плюсану, оракл вполне жует такие базули и все хорошо. обычных селектов хватает.

R

⇡

BeautifulSoup там есть http://www.crummy.com/software/BeautifulSoup/bs4/doc/#css-selectors

xpath есть в lxml

Что же касается «что делать если на сайте поменяют дизайн» - скрипт для selenium сломается тоже и его надо будет править.

таки не понятно зачем тут селениум
просто берёшь да краулишь сайты, зачем тебе рендеринг?
так важен жс?

Кстати, новомодные сайты, которые без js не работают, обычно имеют REST api, а javascript это просто клиент для него.

Можно это api напрямую дергать, будет намного эффективней.

посмотри jsoup + любой жвм-язык для граббинга данных и поклания в базу
при прилежном программирование результат предполагается эфективнее чем на питоне

для анализа не знаю, говорят r, да, ну или что-то r-подобное http://incanter.org/ например

Мда.

Имеет ли смысл выбрать R?

Будет зватать и LibreOffice Calc, пока не соизволишь написать область анализа данных. R не для всего подходит.

У этих сайтов, с которых собирать, нету апи?

Советую пройти nanodegree по анализу данных на Udacity. Там тебе объяснят, что чем делать и всё остальное. Я сам больше из ML поэтому могу ответить приблизительно: в бигдате чеще используют R, чем Python, а Apache Spark становится популярней, чем Hadoop. Графы можно строить множеством пакетов и либ, у каждого своя специфика, нет смысла даже перечислять, зависит от задачи. У Udacity визуализация тоже дается (на dimple or d3.js) Книги/статьи по бигдате.... обычно это список из 20-50 книг на английском, которые все «надо обязательно прочесть». Я б не рисковал с такими просьбами.

Давайте начнём с того, очень много ресурсов либо вообще не работают без кук (и даже авторизации) и JS нормально

Что собрался парсить? СПА? Все контентные сайты предоставляют данные для гуглботов, которые не умеют web2.0 Если сайт и обвешен JS, то в итоге все сводится к HTTP протоколу.

что ни в один регексп их не запихнешь

Регекспами парсят только ньюфаги, нормальные пацаны юзают xpath.

системы парсинга слетят нафиг при любой нестандартной ситуаци

Сделай логи и следи где слетают.

Но меня куда более волнует вопрос последующей обработки данных, а не их получения.

Для этого люди годами учатся в ВУЗах, а ты тут хотел за неделю разобраться? Иди на курсеру и учись, параллельно на amazon закупайся книгами.

253125 Мб в сутки

У меня для тебя плохие новости. Это не бигдата! Хадуп тут оверхед.

Ещё тебе действительно надо обрабатывать данные в режиме реального времени?

Мало того, Вы, видимо, не знаете, что селениум может даже на одной машине запускать множество браузеров.

в зале смех, переходящий в истерику

Лох какой-то.

У меня создаётся впечатление, что Вы с сайтами реальными не работали в плане парсинга

Лол, ну вот за вечер я написал - http://lor.click/

, либо не поняли возможностей селениума в плане DOM, X-Path, CSS селектинга.

Посмотри в сторону beautifulsoup, pyquery. Еще mechanize неплох, но к тому времени как я его нашел - у меня уже самописное было все тоже самое.

Что, внезапно, и на селениуме можно ехать, если делаешь это на кластере? :)

Ну сделай и посмотрим. Ты расчет провел для идеального случая. А что ты будешь делать когда он у тебя повисать будет?

Кстати, самописное на чём работает? :) На регекспах? :)
И как Вы с ЛОРа получаете сообщения? Через трекер не получится, т.к. он не имеет страниц. Или вообще дампите весь ЛОР, а потом из трекера получаете новые комменты?
Кстати, тут http://lor.click/profile/ktulhu666/ у меня неправильные последние комментарии.
Часть ссылок не работает.
Кстати, авторизацию не юзали?

10 (страниц в секунду на одном сервере)*30(серверов)*3600(час)*24(часов в сутках)*10(вес страницы в Кб)/1024 = 253125 Мб в сутки.

А если еще учитывать страницы которые будут отдаваться по 30-60 секунд? Не будет у тебя столько данных.

А что ты будешь делать когда он у тебя повисать будет?

Аналочино со случаем подвисания одного из воркеров обычного скрипта-парсера: рестарт задания со таймауту.
Или у Вас непараллельная синхронная архитектура, которая встаёт колом при любом подвисании?
Или Вы про подвисание с удаленной стороны? Если удаленный сервер висит, то ничего уже не поделаешь.
И да: может Вы меня не правильно поняли: я не собираюсь стартовать на каждую новую страницу браузер, можно спокойно переходить в текущем на новые страницы.

как БЕЗ селениума получить много-много данных

http://www.unforgettable.dk/

А если еще учитывать страницы которые будут отдаваться по 30-60 секунд? Не будет у тебя столько данных.

Тогда можно спокойно запускать по 100-200 браузеров на хост, т.к. не будут жрать проц в простое. В моём случае таких вариантов не должно быть: либо сервер удаленный вообще висит, либо мы нормально с ним работаем.