Подскажите, что почитать про виртуализацию

как обеспечивается замкнутость

Использование аппаратной виртуализации либо вытеснение гостевой ОС из ring0

, общение с хост-системой

через драйверы в kernelspace

квотирование ресурсов и борьба с жадными программами.

Так же как и в обычной ОС, ИМХО. Время виртуалке выделяется кусками, для esx - 20 мс одного ядра на один vCPU. Количество таких кусков за интервал времени определяет производительность гостя. Это время можно жёстко ограничить, можно гарантировать минимум, свободные ресурсы разделяются по приоритетам.

мат. модели, идеи, алгоритмы, технологии,

ИМХО, это в Development

ЗЫ. по vsphere могу рекомендовать «Администрирование VMware vSphere5», Михаил Михеев ( vm4.ru ), ДМК пресс, серия «виртуализация для профессионалов»

ой. Может ты за одно сможешь подсказать что-то об oVirt. А точнее о связке с ним clustersf. Я смог накопать некоторые обрывки по этому делу но до конца так и не понял :(

что конкретно интересует?

Точнее как правильно настроить oVirt для работы с clasterFS и избавиться от NFS

пока никак, разрабатывается нативный клиент glusterfs, но насколько я знаю он еще не готов. а вообще, спросите в юзерлисте овирта или на IRC канале #ovirt irc.oftc.net