можно научить vbox использовать ресурсы главной системы?

Если ты именно про видеокарту — нет. В принципе. Есть прокидывание устройств, но это уже не virtualbox и для обладателей двух видеокарт и хорошего чипсета.

Кстати, почему не сделано нечто вроде virtualgl (как в bumblebee) для virtualbox/vmware — не знаю. Возможно, есть причины.

спс, буду искать варианты

Можно увеличить лимит до 1024-х:

http://www.linux.org.ru/forum/general/6131100#comment-6135349