В общем настроил gpg-agent на работу с ssh.
Затем выполнил gpg --armor --export-secret-key <key>! > ~/.gnupg/exported-keys/sec.asc
Затем делаю вот так: ssh-add exported-keys/sec.asc
Он запрашивает секретную фразу, но не может ее обработать Bad passphrase, try again for exported-keys/sec.asc
Пробовал разные настройки: -a, без armor и т.д. Но ничего не помогает.
Прошу помощи.