Как настроить debian-xfce или xubuntu чтобы можно было управлять медиаплеером Rhythmbox?

Посредством колёсика мыши и средней кнопки под ним.

https://wiki.debian.org/ru/Keyboard/MultimediaKeys

Все настройки / Клавиатура / Комбинации клавиш

В настройках клавиатуры есть возможность указать примерно модель. У меня на ноуте это asus-keyboard. Там большой список, выбери похожую и медиа-кнопки заработают.