Перепробывал все что нашел в интернетах, работает только до logout или reboot.
Какие команды использовал:
xmodmap -e 'keycode 66='
xmodmap -e 'remove lock = Caps_lock'
setxkbmap -option caps:none
setxkbmap -option ctrl:nocaps
Один товарищь в интернете посоветовал добавить в команду .bash_profile, но он не запускается, тогда другой товарищ из того же интернета посоветовал прописать в .bashrc source ~/.bash_profile. После этого залогиниться вообще не получается. Пришлось грузиться с флешки и править .bashrc.
Обычно если мне надо выполнить какую-то команду при старте, я добавляю файл .sh в /etc/profile.d/ и это всегда работает. А тут упрямство какое-то непобедимое.