Если в ssh работает авторизация по ключу, то проблема не в ssh.

Если авторизация по ключу в ssh не работает, то править конфиги ssh.

Пользователь может пытаться подсунуть серверу неизвестный ему тип ключа. Например, Ed25519 добавили в openssh начиная с версии 6.5. Если на сервере стоит более ранняя версия, то будет спрашивать пароль. Сгенерировать новый ключ или обновить openssh на сервере.

Пользователь может быть невнимательным и на самом деле спрашивается не пароль пользователя на сервере, а пароль от ключа. Убрать пароль с ключа или использовать ssh agents

в SSH

есть авторизация по ключу, тогда пользователю не надо будет вводить пароль достаточно показать ключ. Но если кто то подтянет у пользователя ключ... увы и ах. Можно сгенерить ключ с парольной фразой, тогда стянуть ключ мало, надо знать его парольную фразу (это не пароль пользователя). Но парольную фразу придется вводить. Если неудобно вводить ее несколько раз в день например, используйте ssh agents один раз ввел пароль для ключа утром и весь день его за пользователя будет подсовывать ssh agents.

Сорри, может я зря влез, вообщем то все это описал onlybugs только имхо как то сумбурно...