Какие символы не могут быть в имени директории и файла в LINUX

'/' и '\0'. Остальные, по-моему могут. Во всяком случае, перевод строки и ESC-последовательности точно. Попробуй:

$ touch $'\e[32mFile'
$ ls
или:
$ touch $'file line 1\nline 2'
$ ls

:)