Посоветуйте что-нибудь почитать про тюнинг жабы

Не надо «оптимизировать жабу», тем более, что на самом деле это невозможно и бесполезно. Оптимизировать надо приложение. Хороший админ заоптимизирует и повысит производительность на 10%. Хороший программист заоптимизирует и повысит производительность на 300%.

Эт понятно, но программист до сих пор ситуацию не улучшил, а начальство убедительно просит освободить сервер.

ЗЫ. Хорошо, а если перефразировать так: «посоветуйте что-нибудь почитать про мониторинг состояния приложений java».

Т.е. можно ли у выяснить, сколько из VSS пошло на данные приложения, сколько - на PermGen кэш; всякая там статистика порождения объектов и т.п. В идеале без привязки к серверу приложений.

http://www.vmware.com/files/pdf/Java_in_Virtual_Machines_on_ESX-FINAL-Jan-15-...

jvisualvm, например.
либо в нетбинсе есть встроенный профайлер на его основе