Где сейчас может быть нужна разработка распределённых web-crawler-ов?

Не вижу вакансий или стартапов, где требовался бы человек, желающий разрабатывать системы индексирования чего-нибудь объёмного в интернете, создавать распределённые поисковые системы. Знаю в Питере одну компанию, которая тырит объявления с чужих сайтов, но у них уже всё написано и они ходят по паре-тройке фиксированных сайтов фиксированными скриптами, но ничего более масштабного на подобии проекта majestic12 (http://www.majestic12.co.uk/) не видел. Что в России на подобную тему делается, кроме того, что внутри московского яндекса?