логин по открытому ключу работает только из .ssh/config, это плохо

Попробуй сравнить окружение в этих двух случаях. printenv

То есть ты коннектишься к C от A через B? Или B в этом случае не участвует?

B участвует. A->B->C.

у меня есть полностью рабочя машинка c настроенным линуксом, лежащая в секурной сети, со всеми ключами. Машинка имеет доступ к внутренним ресурсам организации.

логично, что я не хочу на ноут с виндой тащить всю эту опасную инфу. Вначале соединяюсь с этой рабочей машинкой, а с нее уже имею доступ до всех внутренних ресурсов.

и вот непонятно, почему от того, что я логинюсь на комп не локально, а удаленно, меняется поведение ssh-клиента. Какая ему разница как я попал в терминал? Прямо какой-то шиндовс-вэй.

на машине B локально пользуешься самой виртуальной консолью или эмулятором? polkit ни при чем?

пользуюсь тупо Konsole или gnome-terminal. Никаких настроек безопасности не делалось, совершенно дефолтный Ubuntu Utopic в десктопном варианте.

попробуй в ~/.bash_profile подставь от такую ерунду.

SSHAGENT=/usr/bin/ssh-agent
SSHAGENTARGS="-s"
if [ -z "$SSH_AUTH_SOCK" -a -x "$SSHAGENT" ]; then
  eval `$SSHAGENT $SSHAGENTARGS`
  trap "kill $SSH_AGENT_PID" 0
fi

создает ssh-agent для работы с ключами в сессии баша. Потом при выходе удаляет. Вроде как. Взято отсюда: http://mah.everybody.org/docs/ssh

идея хороша, но не помогло

да там еще что-то написано, в этом howto, я просто читать до конца не стал, некогда. Но интуиция подсказывает, что вопрос так и решается. Больше преград быть не может.

С другой стороны, если добавить этот хост в .ssh/config на B, то соединение проходит ок

Что именно ты добавляешь в config? Интересуют разумеется параметры, а не их значения