прошу совета в разработке парсера

если у каждого сайта свой движок, то универсальное решение не получится.

а в чём проблема?

> есть ли какие-то открытые наработки по такому вопросу ?

есть. perl называется.

google: HTMLUnit

XPath же.

я знаю эту библиотеку, пропарсить html не проблема, даже если он невалидный. проблема вытянуть из разных страниц однотипный набор данных, не имеющий чётких критериев поиска , который надо отыскать среди кучи хлама.

к примеру, на одном сайте адрес пишется после слова «адрес :», на другом пишут сразу город улицу и номер дома без слова адрес сразу после названия, примерно то же самое и с телефоном и прочими интересующими деталями.

мыло вытянуть проще всего, но оно есть не везде, и вопрос в том чтоб чётко привязать его к названию предприятия, которое не имеет чётких критериев поиска.

также можно представить ситуацию, когда на одной странице есть данные по нескольким юрлицам, и если парсер общий для разных сайтов, то как его научить автоматом определять, где конец данных для одного юрлица и начало данных для следующего.

вот библиотека

http://crfpp.sourceforge.net/

вот описание алгоритма парсинга нечетких данных

http://www.lrec-conf.org/proceedings/lrec2008/summaries/166.html

В Job

Задача сводится к созданию тьюринг-полного DSL, на котором будут запрограммированы шаблоны для выдергивания данных. Поэтому лучше не заниматься созданием велосипеда, а сразу взять Perl, Ruby или что там у вас в наличии и писать шаблоны под каждый сайт как есть. По мере накопления одинаковых фрагментов кода, выносить их в отдельный модуль.

Mechanize :)

Имеея поиск по адресной книге можно в ней искать по ключевым словам адресса, если не совпадают, то отбраковывать.

Я хотел посоветовать perl, но его уже советовали. Поэтому в качестве альтернативы советую команду китайцев, сутками парсящих веб за миску риса.

> есть ли какие-то открытые наработки по такому вопросу ?

Спроси спаммеров