Mercurial и hook'и

> Существует ли способ хранить обработчики хуков в самом репозитории?

AFAIK, нет. Может, и есть какой-нибудь извращенный способ, но я его не знаю.

> Все это дело городится для реализации механизма эквивалентного атрибутам svn:external в Subversion.

Если бы мне пришла в голову странная фантазия реализовывать svn:externals (вместо hgforest или тупого хранения всего, что нужно, в репозитории), я бы смотрел в сторону фильтров кодирования-декодирования: они всё равно требуют прописывания в hgrc, но, полагаю, сработают и из глобального /etc/mercurial/hgrc. Что-то вроде:

[decode]

.hg.svnexternals = fetchmyfskingexternals

Хотя можно попробовать подсунуть хуки и в глобальный (или пользовательский) hgrc.

> Если это принципиально невозможно в Mercurial

Это не то, чтобы принципиально невозможно, это просто запрещено по вполне очевидным причинам.

> существует ли другая VCS-система в которой это можно сделать?

Лично я никогда не слышал.

Это невозможно из соображений безопасности в любой вменяемой системе.

В хгбуке все по полочкам расписано

http://hgbook.red-bean.com/hgbookch10.html#x14-19900010.2