В общем не нашёл рабочего способа в сети.
Если делать git clone через консоль, нужно сначала выполнить
onlykey-agent ~/.ssh/github.pub -v --shell
После этого если делать какую либо команду будет обращение к физическому устройству
Как это объяснить VS Code я не понял.
Может что-то можно добавить в ~/.ssh/config.conf?