Можно ли заменить стандартную библиотеку Java?

можно - смотри открытую реализацию jvm и компилятора java -

зачем кстати?

В открытой JVM та же библиотека, при чем тут это.

Мне интересна некая сферическая nanojava, в которой будет компилироваться и работать любая валидная Java программа без ссылок на стандартную библиотеку и которая будет иметь абсолютно минимальный размер.

Например в компилятор вбит класс RuntimeException, Throwable, на основе которых он определяет, надо ли заставлять пользователя писать throws. В компилятор вбит класс String, StringBuilder, для которого переопределен «+». В компилятор вбиты Integer, Double, ..., для которых работает автобоксинг.

Вбит java.lang.Object, его toString («» + obj ==== new StringBuilder().append("").append(obj).toString()).

Что ещё?

read jls7 then

or jls8

Вроде все то, что в JLS, то обязательно и минимальней быть не может.

Посмотри опцию -Xbootclasspath

Я точно помню что заменял стандартный Random для Minecraft'а. Ну не нравилось мне что там используется простой линейный конгруэнтный метод.

Java Microarchitectures

V.Narayanan, M.Wolczko