Как расшифровать файл ~400 Мб с помощью закрытого RSA-ключа 4096 бит

RSA не используется для потокового шифрования, а только для аутентификации, обмена поточными ключами и тп. для поточного шифрования используется AES, RC4, 3DES и тп.

man gpg

яндекс-олимпиада? Даю подсказку: openssl smime

openssl rsautl -decrypt -in input_file -out output_file -inkey your_key