Потестируйте простой язык для выдирания данных из HTML-документов.

По ссылке:

You can download tagstractor-distr-2011-08-01.zip and play with test.exe

Предлагаешь через wine это запускать или как?

Ничего не предлагаю, просто констатирую возможность скачивания и запуска exe-файла (-; Под linux соберу вечером.

Я не понял, оно без исходников что ли?

ну, довай язык и компилятор к нему

GPL? Где сборка под линукс или сырцы? Ты нам что, екзешник предлагаешь?

УГ какое-то.

> Под linux соберу вечером.

Предполагаю, что без исходников, которые можно собрать как библиотеку под Linux эту поделку тут будут воспринимать как велосипед быдлошкольника (т.е. совсем никому не нужную).

Будут исходники на каком-нибудь гуглокоде - будут и заинтересованные. К тому же подскажут что и как нужно поправить.

Сейчас есть вещи, которые хотелось бы изменить, поэтому релизить какую-то библиотеку или исходники с видом «всё готово» нельзя, т.к. ничего до конца не готово. Сейчас можно просто посмотреть на рабочую возможность выдирания данных из HTML реализованным синтаксисом. Если сейчас выложить исходники, придёт куча замечаний, которая известна и без выкладывания исходников, поэтому нецелесообразно сейчас выкладывать исходники или хотя-бы даже .so библиотеку, т.к. есть намерения частично менять интерфейс.

БЛЯ ПАЦАНЫ ТАМ ВИРУС НЕ ОТКРЫВАЙТЕ ПИЗДЕЦ ВСЕ НАХУЙ СТИРАЕТ ПИШУ С МОБИЛЫ!!!!

Два бокала вина этому оратору.

тебе с нами не по пути, грязный овцеё^W шиндузятник

Детка не осилила XPath?

> Детка не осилила XPath?

Скорей всего даже не слышала о таком.

Детка не осилила XPath?

XPath для HTML?

> XPath для HTML?

XPath для DOM

Для того, чтобы данные из html выдернуть есть куча способов, как есть куча осей. Ничто не лучше, ничто не хуже. Есть ещё для perl какая-то штука крутая...

И чем это поделие лучше sgrep?

> Ничто не лучше, ничто не хуже

Просто разберись с XPath

Поздно (-;

а еще boost::spirit достаночно няшен

>Просто разберись с XPath

XPath для XML, а не HTML.

Ну как так можно, предлагать людям писать на новом языке без достпного кода интерпретатора? Это ж анальное рабство какое-то

Базовое описание на английском

Инглиш доставил) лучше бы на русском написал

> XPath для XML, а не HTML.

Да что вы такое говорите? Ещё раз, XPath для DOM.

Реальный HTML в сети не всегда валидный DOM. Да, есть валидаторы, но это другая тема и это не причина, по которой сделан «TT», причина в том, что лично мне это интересно.

Инглиш для передачи информации тем, кто не понимает русского, но знает английский. Кто знает английский, тот поймёт и кривой английский, но не поймёт русский. Хотя, есть гугл-транслейт, но это лишняя кнопка. Со временем подкорректирую.

> Реальный HTML в сети не всегда валидный DOM.

А зачем ему быть валидным? Да, DOM не может быть валидным или нет )

Не понял вопроса.

Берёшь невалидирующий парсер HTML, получаешься с его помощью DOM и используешь XPath. Наверное все библиотеки для парсинаг XML/HTML так умеют (а которые не умеют то их вообще лучше не юзать).

Я не очень понял... Выходит проблемы невалидного HTML вообще не существует?

> Выходит проблемы невалидного HTML вообще не существует?

Точно, уже давно.

Хорошо, а когда я вижу код <div><b>hello world</i></div>, мне текст «hello world» из какого DOM-элемента доставать? Из b или из i?

Видимо скормить мясо html-парсеру-dom-строителю и потом уже смотреть на DOM-дерево и решать, откуда чё вытаскивать, а не на исходный HTML смотреть. Ок.

Ну если нет проблемы валидного-невалидного HTML, значит таки валидаторы просто работают. А вы сказали, что нужен невалидирующий HTML-парсер. Как так? Ведь процесс принятия решения о том, как трактовать тот или иной «html-конфликт» типа <a>hello<b> cruel</a> world<i> hehehe</b> !!! </i> - это есть процесс валидации, или «приведение» к валидному виду. Где-то были разговоры о том, что разные броузеры по-разному решают эти проблемы и какой-то W3C хочет сделать съезд по этому поводу, чтобы наконец договориться о способах трактовки всех видов таких невалидностей, но видимо они съезд собрали позже, чем я начал работать над TT :)

В интернет обычно встречается такой HTML, который более-менее схоже обрабатывается разными браузерами.

Тебе не влом на эту школоту время тратить? С ним же всё уже ясно, всё объяснили. Захочет - сам разберётся.

Отображаемость в браузерах - другая тема.

Присоединяюсь к предыдущим ораторам. Без исходников даже скачивать не стану.

На валидных документах можно попытаться использовать awk.

Вот тебе точно с нами не по пути, грязный крестоёб.

зачем это нужно если есть perl?

Это не нужно, это просто есть.

Это не нужно, это просто есть.

светлый мозг виндоузнятничка не может осознать, что легче перейти на нормальную ОС, чем городить костыли под вынду? или что? сборка под линукс где? зачем это сюда тащить было? в бложик к себе тащи.

Поставьте сами себя на моё место и сами отреагируйте на свое сообщение, мне на такие сообщения не интересно реагировать. Осуществите лямбда-реакцию.

У меня сильная попаболь от того, что я не получил признания общественности. Осуществляю лямбда-реакцию.

угадал?

Что содержит лямбда-реакция - неважно, главное её осуществление.

ТС а Beautiful Soup неа? Он спокойно невалидный HTML парсит,да не С++, но LXML это как раз С есть врапперы для С++ и др. языков, отсюда следует вопрос: зачем Ваша разработка? А если она, как Вы говорите, просто есть, то что на нее тратить время? В чем профит?

В чем профит?

грю же, народного признания человеку хочется.

Ну наверное не мне оценивать, где какой профит, я за пользователя думать не буду, своей работы хватает. Могу говорить только об отличиях. У меня, например, дерево не строится и валидность HTML-документа отсутствует на повестке дня. У «TT» просто другой принцип работы. Какой принцип нужен юзеру - не мне решать, не говоря уже про профиты.

Не вопрос в другом: вот я юзер и наткнулся на Ваше предложение, очевидно же что тестирование ради тестирование не вариант, значит у решения должны быть какие то преимущества, а пока видим: этого нет, того нет и сырцов нет, то есть и педагогическая ценность для тестировщика стремится к нулю

Я не могу говорить о преймуществах, т.к. выбор всегда вытекает из каких-то критериев, которые известны конкретному юзеру.

Добавил сборку под linux: http://sites.google.com/site/pavelkolodin/html-parsing-2/tagstractor-build-li...