Не работает пароль шифрование

Надо очистить диск и установить систему ещё раз.

А как очистить диск в данной ситуации?

Проще всего изучить BIOS на предмет опций вроде Secure Erase.

Можно загрузить любой Live CD Linux и выполнить команды вроде wipefs -a /dev/nvme0n1p3, wipefs -a /dev/nvme0n1p2, …, wipefs -a /dev/nvme0n1

Уточню, что эти действия приведут к необратимому удалению всех данных на диске, включая данные других операционных систем и прочего, если таковое было.

В принципе можно и не удалять, инсталляторы линукса обычно сами умеют удалять, но я предпочитаю при установке ставить на 100% чистый диск.

wipefs -a /dev/nvme0n1p3, wipefs -a /dev/nvme0n1p2, …, wipefs -a /dev/nvme0n1

Тогда уж blkdiscard --force /dev/nvme0n1

Хотелось бы уточнить, это единственный вариант?

я пробовал разные раскладки

Надеюсь, диск вы зашифровали английской раскладкой.

а при попытке зайти в Boot меню мне важно ошибку в виде «Failed to open»

Можно зайти в BIOS и сменить приоритет загрузки. Либо же проверить настройки Boot меню.

Да английской, только вот не знаю нормально ли что при вводе в консоль(в которую я попадаю при множестве нажатий enter) у меня не вводятся символы а заместо них знаки неизвестных символов(даже после того как я поменял раскладку)

«Взломать» дисковое шифрование невозможно. Если пароль не знаете, то другого варианта нет. Если на диске не лежат ценные данные, морочиться с попытками подобрать раскладку и прочее я смысла не вижу, быстрей переустановить.

Настаивать не буду, но лично я на своих системах всегда ставлю английский язык в качестве основного, а потом уже после установки добавляю русскую раскладку в качестве дополнительной. У меня есть ощущение, что американцы, которые и пишут все эти инсталляторы и прочее, не слишком-то тестируют их на чём-либо, отличном от английского языка, поэтому могут быть всякие странные эффекты при использовании других языков.

После установки раскладку меняли? В консоли может быть другой хоткей переключения раскладки, не тот что в графической оболочке.