Нужно ли лочить файл перед тем как в него писать?

Нужно, ибо получится каша.

Каша в чем ? если за 1 итерацию добавляется 1 строчка - то каша на уровне строк или на уровне символов ?

Фишка O_APPEND как раз таки в том, что все врайтеры сериализуются и пишут всегда в актуальный хвост. Иирц.

• Первый процесс открыл файл и установил позицию в конец
• Второй процесс открыл файл и установил позицию в конец
• Первый записал строку
• Второй записал строку, перетерев строку от предыдущего процесса.

Твоя проблема?

Только ради тебя в ман слазил:

If the O_APPEND flag of the file status flags is set, the file offset shall be set to the end of the file prior to each write and no intervening file modification operation shall occur between changing the file offset and the write operation.

http://pubs.opengroup.org/onlinepubs/009695399/functions/write.html

Да, ты прав, а я не прав.

Но если программа использует промежуточную буфферизацию, вроде libc stdio, а не вызывает write() напрямую, то каша таки может получиться.

Атомарность записей тем не менее никак не гарантируется, поэтому без блокировок всё равно получаем кашу. Да, обязательно нужно лочить.

посмотрел модули блокировки для python почти все они делают временный файлик и на основе его смотрят лок. Т е если программа прервется то лок файл останется. Единственная альтернатива использовать fcntl. Почему сделано так по тупому ?

Ну в локфайл ты можешь писать pid процесса и проверять что это процесс еще жив (при проверке лока).

посмотрел модули блокировки для python почти все они делают временный файлик и на основе его смотрят лок. Т е если программа прервется то лок файл останется. Единственная альтернатива использовать fcntl. Почему сделано так по тупому ?

Питон, что с них взять. Правильный способ, естественно, использовать flock/fcntl.

Это никогда не работало, потому что освободившийся PID может занять другой процесс. Используйте нормальные механизсы ipc, а не костыли.

Атомарность записей тем не менее никак не гарантируется, поэтому без блокировок всё равно получаем кашу. Да, обязательно нужно лочить.

Почему это? Если нам только нужно чтобы строки не разбивались, то, как я понимаю это указание, всё должно работать.

По тупому? Есть разные способы блокировки. Те что создают файлик, это между процессами (хотя можно и иначе, но речь о другом). Между тредами есть менее суровые способы блокировки, а между хостами — более суровые. У тебя есть общий ресурс доступ к которому нужно лочить. Этот ресурс есть файл, и файл можно LOCK_EX. То что ты называешь «альтернативой» на самом деле является самым подходящим вариантом.

Есть риск partial write

Ах да, правильно. Ох уж мне эти сисколлы, сорвавшиеся на полпути...

Я готов зуб дать, что читал об этом в апуе, и вот: http://stackoverflow.com/a/35256561

Как это объяснить? Второй абзац.

ps. Хотя разные источники наоборот говорят, что очень не все фс соответствуют посиксу в этом плане. Ладно, неровностей в люниксе хватает, еще одна погоды не сделает.

Ну места в стандарте на которые он ссылается якобы в подтверждение гарантий все мимо. Первое вообще про потоки, второе про чтение после записи. А вот третье - да, именно про конкурентную запись, и там явно написано что гарантий нет. Остальное - домыслы.