Подобрать криптоалгоритм

По моему без личной встречи с Бобом никак.

В частности на личной встрече можно обменяться не ключами, а коефицентами функции y=f(x), по которой Боб будет расчитывать y по предоставленному Алисой числу и при соврадении присланного Бобом числа Алиса будет считать присланный им публичный ключь подлинным.
(Боб тоже транслирует свой ключь в космос, Алиса своим приватным ключём присылает ему Х, а Боб своим приватным ключём посылает ей У)

стандартная же задача, не? Обмениваемся открытыми ключами, получаем общий секрет по протоколу Диффи-Хеллмана, далее используем этот секрет в AEAD (например, AES+GCM или ChaCha20+Poly1305). Опции по вкусу, например общий секрет можно предварительно обработать каким-нибудь Argon2.

Хеллман не решает проблему валидации отправителя. Кто угодно может притвориться Бобом и поговорить с Алисой. Задача в том, чтобы подтвердить, что Боб - это Боб, а не Псевдобоб.

Я так понимаю, что для целей валидации можно заранее сказать публичный ключ Боба Алисе и не транслировать его в космос. Так?

Так, для аутентификации нужен публичный ключ отправителя, либо общий секретный ключ для симметричных алгоритмов.

Большое спасибо вам и Lrrr