буферизация выходного потока в файл

eatmydata? Отключает sync

что это? я в такие тонкости не вникал еще? куда нужно лезть?

dd?

Единственное что делает такой синтаксис в shell (>somewhere) -- это переоткрывает дескриптор в новом процессе (а также обнуляет длину файла somewhere). shell дальше не участвует, и нужно смотреть конкретный процесс и ФС, на которой открыт fd. Например, процесс может поумничать и попытаться определить, что нужный fd открыт на tty или на файле, а может и не попытаться. ФС смотря как смонтирована, может буферизовать, а может и не буферизовать.

Спасибо за пояснение! Я правильно понимаю, что у файловой системы и у самого диска должен сучествовать собственный буфер, и этот буфер периодически скидывается на диск. То есть к fd могут обращаться разные процессы а массив при этом будет находится в буфере если это позволяет сама система?

Ну да, вы наверное могли видеть некоторых деятелей, которые советуют флешку с опцией sync монтировать, это оно и есть.

Спасибо! Тему считаю закрытой. Все ясно :)

Прямой ответ на поставленный вопрос — sponge. cat "$N" | sponge filename. Он делает именно то, чего ты хочешь — принимает весь стандартный ввод и потом за один раз пишет его в файл. Иногда это действительно требуется. Но не для замены стандартной буферизации.

Но он тебе не нужен. Буферизация существует на уровне файловой системы и ОС. Всё уже решено и оптимизировано за тебя. Более того, буфер есть ещё и у самого носителя. Так что ты пытаешься решить несуществующую проблему.

поиграться с /proc/sys/vm/dirty_*

Он делает именно то, чего ты хочешь — принимает весь стандартный ввод и потом за один раз пишет его в файл.

Не очень идея, а если память у него раньше кончится, что он делать будет?

Не очень идея, а если память у него раньше кончится, что он делать будет?

Не проверял. Обычно он пригождается для всё же на несколько порядков меньших объёмов, чем свободная память ☺