Безопасный sshfs (SFTP) (серверная сторона)

В последнее время паранойя прогрессирует, поэтому хочу иметь возможность безопасной связи, при этом sshfs меня крайне радует (не смотря на тормоза на мелких файлах и выжиранием процессора шифрованием) простотой использования и отсутствием всяких капризов (аля «эту ФС я не поддерживаю; рекурсивно монтированную ФС отображать не буду), вокруг которых нужно делать костыли (bindfs), и нормальной аутентификацией (а не IP+openvpn/VLAN или вырвимозговой kerberos, который не будешь на куче камын настраивать тупо для передачи файлов), как у NFS. Ну FTP по известным причинам безопасности и тормозов даже рассматривать не буду.
Но вот в случае sshfs (точнее sftp-сервера) меня напрягает безопасность серверной стороны, т.к. openssh крайне тесно интегрирован в систему, запускается от рута, имеет кучу разных небезопасных фитч (небезопасных, когда клиент опасен, но к некоторым своим файлам должен иметь доступ), которые надо постоянно отключать в конфигах.
В идеале хотелось бы легковестный ssh-демон с минимумом функций, который сам умеет chroot для отдельных клиентов SFTP, passwd вообще не использует. В котором точно все функции можно отключить.

Также подобную систему можно было бы предоставлять (например, публично) потенциально небезопасным клиентам.

Про то, что можно сделать UsePAM no и юзать только ключи я знаю, но в корне это проблему не решает. Это только городит костыли безопасности вокруг не очень безопасного решения.

Про это я тоже знаю:

Subsystem sftp internal-sftp
AllowUsers user
Match User user
X11Forwarding no
AllowTcpForwarding no
AllowAgentForwarding no
PermitTunnel no
ForceCommand internal-sftp
ChrootDirectory /home

и /sbin/nologin в passwd я знаю, не надо мне про это рассказывать