Создание папки с лимитом на размер файлов

можно, через плагин для fuse, самому написать придется

Можно через fuse, но твоё желание странное и костыльное, да и реализация (fuse) такая же. Ты уверен что тебе это нужно? Мне кажется ты выбрал неправильный способ решения какой-то задачи.

https://askubuntu.com/questions/841282/how-to-set-a-file-size-limit-for-a-directory

Можно ли это сделать не имея рутовых прав?

Нет, для этого способа.

Я бы хотел посмомоть что произойдет если во время сериализации закончиться место на диске. Я использую SerializeToOstream из protobuf.

То есть это для одного эксперимента? А почему без рут прав тогда?

И тогда я бы просто tmpfs на маленький размер создал.

По твоей ссылке инструкция как сделать loop-том, а про лимиты на размер файлов там только в вопросе.

Внимательный читатель заметит что-то ещё.

Что же? Болтовня не в счёт.