Странное поведение ssh

Точных названий опций из конфига я тебе не скажу, но гугли в сторону keep-alive и всяческих таймаутов.
Вкратце, зависит от того, как часто ssh-клиент пингует сервер и как долго может ждать от него ответа.

Некоторые машины, когда я перезапускаю или выключаю машинку, отсоединяют от ssh сервера нормально возвращая приглашение моей консоли, а после выключения некоторых терминал временно зависает.

Кто-то доживает до выключения sshd, а кому-то сразу отключают сеть.

если тебя интересует быстрое получение приглашение своей консоли - то запомни комбо:
enter потом тильда потом точка
это даёт указание ssh-клиенту сделать disconnect
подробнее
man ssh /ESCAPE CHARACTERS
enter нужен чтобы очистить буфер от ранее введенных символв. если он заведомо пустой то можно сразу ~.

А как объяснить тот факт, что машинка выключена, а возврата еще нет?

Если оборвать сетевое соединение, например ресетом машины, ssh клиент будет думать что соединение есть и пытаться обмениваться инфой, а так как передавать некуда ssh зависает в ожидании ответа и так до тех пор пока tcp не отвалится по таймауту

Теоретически так

Если же машина с ssh сервером корректно завершается, она закрывает канал соединения и все довольны