Как заставить ssh использовать другую директорию при подключении?

В sshd_config загляни

Да, забыл сказать - не подходит. Смысл в том, чтобы на компе не оставалось следов после отсоединения флэшки с ключами.

-o смотри

как указать чтобы оно know_hosts другой использовало?

man ssh_config:

UserKnownHostsFile
        Specifies one or more files to use for the user host key data‐
        base, separated by whitespace.  The default is
        ~/.ssh/known_hosts, ~/.ssh/known_hosts2.

как не писать десять опций, а юзать одну?

Расположить catch-all 'Host' запись вконец (тоже где-то в мане прописано, но лень искать) — порядок играет роль:

e.g.:

# specific host settings
Host example.com
    User another

# more generic host settings, matches example.com and any .com
Host *.com
    # whatever

# matches any and all above
Host *
    UserKnownHostsFile /tmp/known_hosts

Помогло .ssh/known_hosts

Только надо следить какая директория текущая.