Хочу граббер

Тот самый случай, когда нужно советовать python со своим Soup.
//Хотя мб удобно будет и на Ruby, не пробовал.

python + lxml

xpath

Perl + Mojo::DOM + Mojo::UserAgent

XSLT/XPATH в в порядке уменшения страданий при повороте мозгов :) Ну и полюбопытсвовать на счет возможности проброса нативных фунций в вышеупомянутое безобразие дял твоих ЯП/сред. В принципе это даже в для лиспа можно, но кому как повезет :)

http://phantomjs.org/

Паттерн-матчинг какой-нибудь, набор правил

Xpath называется

Ruby, Nokogiri и CSS3/Xpath селекторы во все поля.

Мне нужно вытаскивать кучу инфы с различных сайтов, нужно тупо запилить граббер.

lynx -dump "различный сайт" | grep "кучу инфы" не благодари.

lynx -dump «различный сайт»

w3m -dump -T text/html ... 

http://grablib.org

Буду оригинален - Swi-Prolog. У него есть библиотека разбора HTML на DOM, а дальше ползать по DOM'у используя прологовские предикаты одно удовольствие.

Пример получения DOM'a:

:- use_module(library(http/http_open)).

http_load_html(URL, DOM) :-
	setup_call_cleanup(
		http_open(URL, In, [timeout(60)]),
		(
			dtd(html, DTD),
			load_structure(
				stream(In),
				DOM,
				[dtd(DTD), dialect(sgml), shorttag(false), max_errors(-1), syntax_errors(quiet)]
			)
		),
		close(In)).

Вдогонку, построение базы данных узлов и связей между ними в памяти, чтобы каждый раз не лазить вглубь дерева. Выдёргивалось кусками из существующего кода, поэтому работоспособность из коробки не гарантирую. Если что - дай знать, помогу.

/****************************
 Building DB
****************************/

:- dynamic node/4. % node(id, name, attributes, value)
:- dynamic link/2. % link(id, parent_id)

clear_db :-
	abolish(node/4),
	abolish(link/2).

build_db(DOM) :-
	build_db_aux(DOM, [-1], 0).

build_db_aux([], [], _).
build_db_aux(Elements, ParentIds, Id) :-
	% add current element to DB, generate new id
	Elements = [Element|Es],
	ParentIds = [Parent|Ps],
	add_to_db(Id, Element, Parent),
	% get children, set current id as their parent
	get_children(Element, Children),
	length(Children, ChildCount),
	length(ChildParentIds, ChildCount),
	maplist('='(Id), ChildParentIds),
	% process remaining elements
	Id2 is Id+1,
	append(Children, Es, Elements2),
	append(ChildParentIds, Ps, ParentIds2),
	build_db_aux(Elements2, ParentIds2, Id2).

add_to_db(Id, Elem, Parent) :-
	assert(link(Id, Parent)),
	(is_element(Elem) ->
		get_name(Elem, Name),
		get_attributes(Elem, Attributes),
		assert(node(Id, Name, Attributes, []))
		;
		Value = Elem, % Elem itself represents node contents
		assert(node(Id, [], [], Value))
	).

/****************************
 Node operations
****************************/

is_parent_of(Parent, Child) :-
	Parent = element(_, _, Children),
	member(Child, Children).

is_element(E) :-
	E =.. [element|_].

get_attribute(E, Name, Value) :-
	E = element(_, Attrs, _),
	member(Name=Value, Attrs).

get_name(E, Name) :-
	E = element(Name, _, _).

get_attributes(E, Attributes) :-
	E = element(_, Attributes, _).

get_children(E, Children) :-
	E = element(_, _, Children).
get_children(_, []) :- !.

Ня!

Занимаюсь похожей фигней. XPATH и CSS-селекторов хватает для 100% случаев.

И да, XPATH может быть читабельным, если писать его вручную и использовать мозг, а не копировать из FireBug.

Я написал на Java с помощью либ jsoup (парсинг css-селекторами и др.) и apache http client (работа с cookies), получилось быстро и просто.

pyquery, особенно если знаком с jquery

http://scrapy.org

Годнота, хотел насоветовать. А также, внезапно, LINQ.

Вот это интересно

А что ему делать в случае если источник не только непохож на XML, но и не является даже подобием HTML?

В общем рекомендую уделить внимание как XPath/XQuery/XSLT и подобным, так и регулякам.

Собственно копать надо в направлении XPath+Perl или XPath+JS, есть так же Python+lxml но питоновские регулярки выглядят не так красиво как перловские.

А что ему делать в случае если источник не только непохож на XML, но и не является даже подобием HTML?

Если читать ТС то

нужно вытаскивать кучу инфы с различных сайтов
собираюсь тупо запускать dom-парсер

уделить внимание как XPath/XQuery/XSLT

И мое ты почему-то не читал. Вопрос только в том за чем ты на него отвечаешь :(

Просто выбрал самый правильный ответ и дополнил его упоминанием о том что регулярки в грабинге могут ВНЕЗАПНО оказаться важнее работы с DOM и надо сразу брать инструмент умеющий и то и то :)

http://scrapy.org + https://github.com/scrapinghub/portia

Нашёл очень клёвый инструмент, то что нужно: https://github.com/cheezy/page-object

Позволяет декларативно описать страницу, её элементы, и отдельно работать с ними в методах.

UPD: правда этот гем всегда использует браузер. Неудобно, если данные доступны и так, без js.