Ну чаще спрашивают обратное - как заставить иксы не воспринимать геймпад как мышь. Но если не пошло из коробки то чисто теоретически это можно сделать как-то вот так:

/etc/X11/xorg.conf.d/50-joystick.conf 

Section "InputClass"
        Identifier "joystick catchall"
        MatchIsJoystick "on"
        MatchDevicePath "/dev/input/event*"
        Driver "joystick"
        Option "StartKeysEnabled" "True"  
        Option "StartMouseEnabled" "True"  
EndSection

Была одна программа, к сожалению не помню названия, которая позволяла на любую клавишу геймпада к примеру забиндить любую клавишу клавиатуры или движение курсора мыши. Типа Xpadder под виндой.

Вах, спасибо. Моя мечта сбылась

Оно?

http://qjoypad.sourceforge.net/#screenshots

Да, оно самое. Я на геймпад с помощью нее назначал перемещение курсора и кнопки мыши.