gpg -c программно на openssl (libcrypto, C/C++)

SQLCipher решает аналогичную задачу.

Не слишком грязно его применять?

Что это вообще должно значить?

Зачем тащить многофункциональную зависимость, если мне нужно просто шифровать файл бд?

gpg неплохо сжимает данные после шифрования

Да ну нафиг. Хорошее шифрование максимизирует энтропию, вследствие чего сжатие после шифрования неэффективно. Если сжимать, то до, а не после.

// И да, если нет понимания, как правильно хранить и генерировать IV и соль, то don't roll your own crypto¸потому что всё равно накосячишь, а используй готовые решения типа того же sqlcipher.

Как определить, что пользователь ввел неверный пароль для расшифровки?

Ну например, прочитай первые 16 байт расшифрованного результата. Для БД sqlite должно быть что-то вида «SQLite format 3\0».

https://www.sqlite.org/fileformat.html

Где хранить вектор инициализации?

Где-нибудь рядом с зашифрованными данными.

Где хранить соль?

Там же.

Правильно ли использовать RAND_bytes для генерации соли? (Я понимаю, что генерируются байты, а не символы ASCII)

Правильно.

Какая длинна соли

Не менее 64 битов.

и сколько итераций являются оптимальными?

Чем больше, тем сложней перебирать злоумышленнику. С другой стороны чем больше, тем дольше будет преобразовываться пароль и у тебя. Сам решай. Если это консольная программа, секундная задержка, наверное, не страшна. Если это нагруженный сервер с тысячей запросов в секунду, тут уже секундная задержка просто положит всё на лопатки, например.

gpg неплохо сжимает данные после шифрования. Как добится такого же эффекта? Нужно использовать отдельную библиотеку для сжатия?

Для сжатия нужно использовать стандартные алгоритмы/программы перед шифрованием. Например gzip или 7z. Шифрование не имеет к сжатию никакого отношения.

Как определить, что пользователь ввел неверный пароль для расшифровки?

Расшифровать и проверить некую контрольную сумму. Стандартный примитив называется MAC. GCM включает в себя аутентификацию, поэтому ничего отдельно тебе делать не надо, проверяй коды возврата при расшифровке.

если нет понимания

А иначе сюда не пишут.

Лучше бы посоветовал почитать что-нибудь на эту тему.

Где-нибудь рядом

Бд должна переноситься между компьютерами. Добавление этой информации в конец зашифрованного файла практикуется? Это не костыль?

Например gzip или 7z

Посоветуешь библиотеку? Zlib не слишком низкоуровневая для такой цели?

Бд должна переноситься между компьютерами. Добавление этой информации в конец зашифрованного файла практикуется? Это не костыль?

Почему костыль? Смысл соли и случайного инициализационного вектора - усложнить подбор пароля. Сами по себе эти данные не являются секретными.

Посоветуешь библиотеку? Zlib не слишком низкоуровневая для такой цели?

Хз, не пользовался, насколько я понимаю, она просто сжимает поток данных, поэтому для данного случая вполне подходит. Другой вопрос, что степень сжатия у неё будет похуже топовых архиваторов, но если это не критично, то должно быть нормально.

Спасибо!