Читал разные мануалы и везде немного разные конфиги. У меня получился такой:
# /etc/ssh/sshd_config:
ChallengeResponseAuthentication no
UsePAM no
PermitRootLogin no
PasswordAuthentication no
PermitEmptyPasswords no
RSAAuthentication yes
PubkeyAuthentication yes
Да, работает, но может нужно что-то убрать или добавить?