c++, html parsing

1

1

Выдрать весь текст который показывается пользователю из html файла utf8. Подскажите либу. Спасибо.

Ссылка

←	Вопрос по дискретной математике - найти все возможные варианты связывания элементов таблицы

Коммуникация процессов через файл

→

lynx -dump

Можно начать танцевать от сюда.

beastie ★★★★★
(29.09.15 15:13:21 MSK)

Ответ на: комментарий от beastie 29.09.15 15:13:21 MSK

я не хочу вызывать внешние программы.

kasha
(29.09.15 15:15:02 MSK) автор топика

Ссылка

boost::asio

boost::urdl

libcurl

cpp-netlib

etc

fura13 ★★★
(29.09.15 15:16:31 MSK)
Последнее исправление: fura13 29.09.15 15:16:44 MSK (всего исправлений: 1)

Ответ на: комментарий от fura13 29.09.15 15:16:31 MSK

нет. мне не нужно СКАЧАТЬ html файл, мне нужно из имеющегося html файла, выдрать весь текст, который видит пользователь

kasha
(29.09.15 15:17:54 MSK) автор топика

xpath

anonymous
(29.09.15 15:19:33 MSK)

Ответ на: комментарий от kasha 29.09.15 15:17:54 MSK

А если текст есть, но пользователь его не видит, не выдирать?

staseg ★★★★★
(29.09.15 15:20:23 MSK)

Ответ на: комментарий от anonymous 29.09.15 15:19:33 MSK

это XML, мне надо html

kasha
(29.09.15 15:20:51 MSK) автор топика

Ответ на: комментарий от kasha 29.09.15 15:20:51 MSK

html — частный случай xml.

beastie ★★★★★
(29.09.15 15:22:07 MSK)

Ответ на: комментарий от beastie 29.09.15 15:22:07 MSK

нет

kasha
(29.09.15 15:23:07 MSK) автор топика

Ответ на: комментарий от beastie 29.09.15 15:22:07 MSK

xhtml.

напиши регулярку

dib2 ★★★★★
(29.09.15 15:23:42 MSK)

Ответ на: комментарий от staseg 29.09.15 15:20:23 MSK

особо не важно(можно выдирать, а можно и нет). всякие сложные случаи с ЖС тоже не нужны. просто получить текст

kasha
(29.09.15 15:24:44 MSK) автор топика

Если надо просто удалить теги, то либа не нужна, реализация примитивна. Если же нужно «форматировать», JS etc., то надо и полноценный движок. Вроде QtWebKit умеет вернуть plain text.

anonymous
(29.09.15 15:29:42 MSK)

Ссылка

Ответ на: комментарий от fura13 29.09.15 15:16:31 MSK

boost::asio

parsing

yoghurt ★★★★★
(29.09.15 15:30:02 MSK)

Ссылка

Ответ на: комментарий от dib2 29.09.15 15:23:42 MSK

html регулярками? с тобой всё в порядке? ;)

beastie ★★★★★
(29.09.15 15:30:03 MSK)

Ответ на: комментарий от kasha 29.09.15 15:24:44 MSK

Бери libxml, вытаскивай содержимое <body> и убирай оттуда все теги.

Такое кстати можно написать и без сторонних библиотек в десяток строк от силы.

staseg ★★★★★
(29.09.15 15:31:02 MSK)
Последнее исправление: staseg 29.09.15 15:32:38 MSK (всего исправлений: 1)

Ссылка

Ответ на: комментарий от kasha 29.09.15 15:24:44 MSK

особо не важно(можно выдирать, а можно и нет). всякие сложные случаи с ЖС тоже не нужны. просто получить текст

Ну так тебе подойдет простая регулярка для удаления тегов

google:\\regex strip html tags

anonymous
(29.09.15 15:31:19 MSK)

Ответ на: комментарий от anonymous 29.09.15 15:31:19 MSK

Ну и еще предварительно <br> можно заменить на \n.

anonymous
(29.09.15 15:32:48 MSK)

Ссылка

что насчет CDATA, object, script, пробелы и тд
думаешь легко реализовать?

kasha
(29.09.15 15:35:46 MSK) автор топика

Ссылка

Сам не использовал, но попадалось на глаза упоминание htmlcxx, можно с её помощью попробовать что-то сделать.

xaizek ★★★★★
(29.09.15 15:41:13 MSK)
Последнее исправление: xaizek 29.09.15 15:41:26 MSK (всего исправлений: 1)

Ссылка

Ответ на: комментарий от kasha 29.09.15 15:20:51 MSK

libxml2 умеет HTML, и ещё что-то умеет. Была похожая тема давно.

asaw ★★★★★
(29.09.15 15:41:52 MSK)

Ссылка

Ответ на: комментарий от kasha 29.09.15 15:23:07 MSK

да

anonymous
(29.09.15 15:45:03 MSK)

Ссылка

Всем спасибо. Попробую htmlcxx

kasha
(29.09.15 15:47:11 MSK) автор топика

Ссылка

Ответ на: комментарий от beastie 29.09.15 15:30:03 MSK

o_O и в чем проблема? начинаем с <[^>]*> и раскручиваем...

dib2 ★★★★★
(29.09.15 15:50:11 MSK)

Ответ на: комментарий от dib2 29.09.15 15:50:11 MSK

https://stackoverflow.com/questions/1732348/regex-match-open-tags-except-xhtm...

Gvidon ★★★★
(29.09.15 17:53:19 MSK)

Ссылка

Подскажите либу.

https://github.com/google/gumbo-parser

AF ★★★
(29.09.15 19:33:30 MSK)

Ответ на: комментарий от AF 29.09.15 19:33:30 MSK

Плюсую gumbo-parser. Он делает именно то, что нужно ТС.

Chaser_Andrey ★★★★★
(29.09.15 20:11:25 MSK)

Ссылка

Ответ на: комментарий от AF 29.09.15 19:33:30 MSK

Лучший ответ треда.

Solace ★★
(30.09.15 10:35:28 MSK)

Ответ на: комментарий от Solace 30.09.15 10:35:28 MSK

Воощето есть еще более распальцованый вариант.
Можно засунуть страничку в вебкит, а потом выдрать все за 1 вызов с помощью XPath.
Но это уже тяжелая артиллерия. Если нет необходимости показывать пользователю результат, то слишком это все громоздко.

AF ★★★
(30.09.15 15:09:29 MSK)

Ссылка

Ответ на: комментарий от dib2 29.09.15 15:23:42 MSK

html
напиши регулярку

http://stackoverflow.com/a/1732454/5268334

cherry-pick
(30.09.15 21:03:42 MSK)

Ответ на: комментарий от cherry-pick 30.09.15 21:03:42 MSK

выдрать текст спромеж тегов != распарсить

dib2 ★★★★★
(30.09.15 23:30:58 MSK)

Ссылка

Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.

←	Вопрос по дискретной математике - найти все возможные варианты связывания элементов таблицы

Development

Коммуникация процессов через файл

→

Похожие темы