umask

проще было бы vasya:rwx,masha:r--

А в чем вопрос?

$ umask -p
umask 0027

$ umask -S
u=rwx,g=rx,o=

$ umask u=r,g=r,o=

$ umask
0337

И это есть, через setfacl

В чем суть нотации сабжа? Не проще ли было бы использовать ту же нотацию что и в chmod?

umask это МАСКА ПРОЦЕССА. Она к процессу приколочена, а не к файлу.

ну смысл в том, что смысл umask может быть только в числе. Потому что umask применяется ПОВЕРХ прав процесса.