//Какой алгоритм использовать(Шифрование во время установки Debian)?
Если проц поддерживает аппаратное ускорение AES, то используй его - разгрузишь немного CPU. Если нет - Twofish, например, или тот же AES. И без ускорения всё будет нормально, «скорость» будет упираться в HDD.
//Стоит ли шифровать весь хард(1 TB) или нужно только отдельные файлы?
Зашифровать весь диск тупо проще. Можно прикинуть примерную модель угроз, от неё и плясать. На ноуте я бы шифровал всё, т.к. можно слить свои пароли/сертификаты при утере. Падения производительности ты не заметишь.
шифровать RAM без криптопроцессора невозможно. но есть техники, чтобы виртуальная память, которая будет размечена на шифрованном диске, не попадала открытыю RAM. Есть вам не хочется выносить заголовки LUKS на внешний носитель, можете прибегнуть к использованияю TPM.