Как загружать и парсить веб-страницы на C++/Qt?

Нужно обработать редиректы, и, возможно, поменять заголовок User-Agent

Если же нужен не исходный код страницы, а ее DOM-дерево, то лучше загрузить ее с помощью QtWebKit

кажется QtWebKit что-то похожее на то что мне нужно. Я хочу сделать свой сканер интернета для своих нужд.

то лучше загрузить ее с помощью QtWebKit

не трогай его, он всё, того

Сканер интернета! Поржал, спасибо!

Посмотри в моем грабвк, там именно то, что тебе нужно. Сорцы открыты.

http://grabvk.sourceforge.net

его я то же с удовольствием посмотрю. А у тебя на сайте ошибочка: «раснирен»...

Ты браузер хочешь сделать что ли?

Что такое «сканер интернета»?

Просто качать странички — хватит вгета с курлом. Проводить какие-то простые действия тоже курл может.

А Qt — говно. Зачем ты эту жиробасину используешь? Может у тебя еще и буст есть?

Костя, а зачем ты вариант под мастдайку делаешь? Оно кому-то нужно что ли?

Ты на год-то посмотри там ;)

Эдуард, ты ли это?
Когда я его делал, целью был универсальный клиент. Ну и контактиком, как ни крути, больше виндовозы пользуются.

Тем более, столько лет прошло, а все еще не исправил. А оно будет компилиться на современной Qt?)

Проверь ;)

Если хочешь паука написать, то бери питон и суп. А С++ для этого аутизм.

Я, я. Просто я как-то не встречал вантузятников, которые в командную строку могут. Обычно мышкой только тыкать — на то они и вантузятники.

Без буста на крестах жизни нет :) Конечно, когда весь буст впилят в стандартную библиотеку, он станет ненужон.

... Но зачем, когда есть няшный Rust?

нет, webkit нынче стал unknown module. Теперь там некий QtWebEngine.

Если хочешь паука написать, то бери питон и суп. А С++ для этого аутизм.

c++ я знаю. А питона и супа я не знаю. И после нужно это все будет интегрировать с другими модулями на с++.

Встречай меня.

Не он. Косит под.

Так там графон все поля, какая еще командная строка?

А нафиг оно тогда нужно? Я-то думал, там CLI, тогда хоть какая-то польза от этого есть. А в гуйне же браузеры жирные-текучие есть...

Плохой из тебя телепат.

А из тебя — актёр. Во-первых, экспрессии маловато. Во-вторых, этот маленький косяк:

Может у тебя еще и буст есть?

Смотри, какая у меня весёлая подпись к Эдику, взятая из его же коммента:

Я один раз вообще бустом воспользовался, хоть на сях собирал...

Headless Chromium can be built as a library for embedding into a C++ application.

ну ты понел

Какие по этому вопросу есть варианты решений что бы не заморочно получить контент, примерно в том виде, как его видно в браузере при просмотре исходного кода страницы?

Selenium. /thread

И что? Я и кресты не перевариваю, но пишу же модуль к RTS2, и ошибки правил...

Можно это делать на питоне. BeautifulSoup и Scrapy.

а можете тебе мешает сканер на JS сделать? загружаешь страницу в IFRAME, на stackoverflow написано как туда лазать. результаты можешь через вебсокет лить уже в Qt

qtwebkit надо брать который ng, он в Qt теперь не входит. если там уязвимость, ты можешь себе неприятностей насканить.

Если кому будет нужно, то вот хороший вариант, тут и закачка и парсинг: https://ru.stackoverflow.com/questions/528852/Как-распарсить-html-страницу-на...

не трогай его, он всё, того

Не того

Што? А кто его поддерживает?

Qt Project (в моем лице)

Так лучше не придумали пока. WebEngine ничего не умеет.

Ха, точняк. Посмотрел в историю коммитов, там только ты. А на Qt Summit'е тебя не было видно, емнип. Я просто следую тенденции, в 5.6 его выпилили ибо обновлений не было с 2013-го года. Собрать этого монстра был тот ещё квест. Если компиляция Qt занимала 45-50 минут, то отдельно вебкит компилялся чуть больше часа. Плюс ко всему очень тяжёлая конфигурация, когда шаг влево, шаг вправо от дефолтной делают его некомпиляемым (пробовал), ибо мне на фиг не нужны зависимости вроде gstreamer'a.

Всвязи с вышеизложенными доводами мы таки переводим проекты на QWebEngine.

Давно проверял?

Буквально вчера, а что?

На саммит я и не собирался (че там делать, окучивать производителей автомобилей у меня все равно не получится), а на Qt Con не получилось, к сожалению

WebEngine ещё больше компиляется.

ибо мне на фиг не нужны зависимости вроде gstreamer'a

У WebEngine ещё больше зависимостей. Как минимум жёсткая привязка к opengl.

Для этих целей есть готовые бинарники

Которые тянут пачку зависимостей? Нет, спасибо.

С зависимостями что там у него?

Нет их.

Так и я о чём. А webkit видел сколько тянет?

Как минимум жёсткая привязка к opengl.

как и любой qml'ной либы после 5.6

Простой вопрос. Можно ли собрать webkit без зависимости от gstreamer?

Да

Кучу народу это делает. И статический собирают

шаг вправо от дефолтной делают его некомпиляемым

Публичные опции можно менять без опасений. Если есть сомнения спроси у меня

Да я спрашивал уже. С тех пор что-нибудь изменилось? Или может ты озвучишь причины, по которым его выкинули из Qt?

Статически собирают? А как же LGPL?

Во-первых не все собирают проприетарщину, которую надо распространять третьим лицам. Во-вторых LGPL нигде не запрещает статическую линковку