Нашел интересную статью https://access.redhat.com/documentation/ru-ru/red_hat_enterprise_linux/6/html/performance_tuning_guide/s-cpu-irq
Значение smp_affinity определяется в /proc/irq/номер_прерывания/smp_affinity
То есть, отсюда я сделал вывод, что можно все нужные мне именно для звука вещи затолкать в одно ядро, а ненужные или просто не относящиеся к звуку - на второе. Это будет лучше для звука?