Как реализовать настройку MultiSampling без перезапуска приложения?

Use this function to set an OpenGL window attribute before window creation.
Вот отсюда
Так что нельзя, по крайней мере, с использованием SDL.

тоже когда-то искал, но, похоже, нет.

А с использованием чего это возможно?

Можешь посмотреть оригинальный GLX API.

Нужно пересоздать фреймбуфер. Можно попробовать покопать в сторону shared context, что бы не пересоздавать уже созданные ресурсы после создания нового окна/фреймбуфера.

Вдогонку, вроде можно включать/отключать мультисемплинг через glEnable(GL_MULTISAMPLE)/glDisable(GL_MULTISAMPLE);

Также есть glSampleCoverage, которая им тоже управляет, но как именно она работает не скажу.