А можно при монтировании применить опцию sync к части дерева?

да, но отдельным mountpoint'ом. попробуйте через loop сделать, должно будет писать файл синхронно

Можно — open("file",O_DIRECT|O_SYNC)

O_DIRECT

Только не забудь данные по границам блоков выравнивать.

мб posix_fadvise() c POSIX_FADV_DONTNEED поможет добиться нужного результата

Хм, я вот затрудняюсь сказать нужно выравнивание или нет. Для xfs я не нашёл такого. Для ext4: там дёргается мутекс если данные невыровнены: http://lxr.free-electrons.com/source/fs/ext4/file.c#L95

Других побочных эффектов я не нашёл.

У меня никогда не было необходимости использовать O_DIRECT, но я где-то читал о выравнивании. Возможно это было в man 2 open:

The O_DIRECT flag may impose alignment restrictions on the length and address of user-space buffers and the file offset of I/Os. In Linux alignment restrictions vary by filesystem and kernel version and might be absent entirely. However there is currently no filesystem-independent interface for an application to discover these restrictions for a given file or filesystem. Some filesystems provide their own interfaces for doing so, for example the XFS_IOC_DIOINFO operation in xfsctl(3).

no interface to discover these restrictions

Ну что за быдлокодеры :( Вот в этом весь IT, блин. Т.е. опция такая есть, но никаких гарантий по работоспособности.