Передача сообщений между независымыми процессами

Может сокеты?

IPC/RPC. Выбирай любую либу.

Как между ними обмениваться данными?

Да как угодно: пайпы, д-басы, етк. Я бывало делал через веб приложение :-)

1) Гугл
2) «interprocess communication python»
3) PROFIT!

JSON RPC.

Или прочитай уже доку по Redis,

см. сокеты, пайпы, zeromq

ответ на твой вопрос

да какой редис нахрена когда на одной машине два процесса!!! зачем городить чтото

Зачетный прекол))

Ну эт я тоже делал но это не то.

зачем городить чтото

Затем, что может получиться проще.

mpi4py

нахрена

Задачу опишите подробней, тогда я смогу решить нахрена

mmap shm с lock free синхронизацией доступа (или на крайний случай mutex в той же разделяемой памяти). Остальное для слабаков.

Накладные расходы будут ровно те же, что и при обмене данными внутри одного процесса (удивляюсь, что никто не предложил, хотя нет, в zmq такой функционал есть). Только реализовать все это на питоне может потребовать интеллекта сильно больше, чем на плюсах.

P.S. Жду следующего вопроса, чем сериализовать данные...

Как между ними обмениваться данными?

ZeroMQ спасёт отца русской демократии.

Nanomsg

хотя нет, в zmq такой функционал есть

не умеет оно shm, да и для топикстартера оно не нужно.

А через сокеты?

А сокеты быстрая вещь?

Тебе точно хватит, если такие вопросы задаешь :)

А в чем там преимущество перед обычными сокетами? То что есть механизм очереди?

Самое быстрое что? Я ж так понимаю сокет должен открыться и закрыться. На это воемя надо.. Или так другой алгоритм?

Мм. Спасибо. Оно вроделучше zmq?

А для питона какая разница?

В питоновской ветке говорят что некому поддерживать:(

Продолжение этого, насколько я понимаю. Сокеты, nanomsg... ну, хоть не lock-free в shared memory.

Оно меньше по размерам, и не пытается быть MQ. Ну и си конечно — легко писать байндинги.

Я использую в CL, на самописной обертке :)

Самое быстрое что? Я ж так понимаю сокет должен открыться и закрыться. На это воемя надо.. Или так другой алгоритм?

Если бы тебе надо было что-то быстрее unix domain sockets, ты бы вопрос по-другому задавал.

Ну хорошо, а чем оно отличаетсяот питоновской библиотеки socket ?

Я просто хочу таким образом распаралелить асинхронный сервер на питоне. То есть запустить несколько не связанных процессов и передавать между ними сообщения. И вот вопрос: если я буду использовать сокеты - не станет ли это узким местом моей параллельной системы? То есть не будет ли моя распаралеленпя система работать дольще чем одна.

Ты прочитал на сайте то?

вангую, питоновские — просто обертки над беркли сокетс, наномсж же — «умные сокеты».

Да вот уже обгуглился.. Я так понимаю что в nanomsg действительно умные сокеты(там де можно выбирать какую технологию юзать, ipc или tcp или что еще), которые работают быстрее «питоновских».

Просто не до конца понял принцип работы сокетов вообще..

так сначала нужно почитать про IPC и разные его способы, а потом выбрать. Есть подозрение, что с твоим подходом у тебя в любом случае все будет тормозить.

Если тебе скорость важна, то питон ты зря выбрал. А для сообщений тебе хватит stdio.

Я просто хочу таким образом распаралелить асинхронный сервер на питоне.

Тогда почему процессы «не связаны»? Обычно в таких серверах один главный процесс порождает потомков-«рабочих».

Ну так рекомендовано в документации (Tornado). Что запускается несколько процессов на разных портах и nginx их балансирует.

Я думал насчет порождения. Но как при этом будет балансироваться нагрузка?

Ты думаешь я не читал??? Или тебе тут перечислить почему я не хочу юзать mmap, shared memory, пайпы, сигналы, файлы и кучу еще чего? Не стоит делать преждевременных выводов.

Кстати берклевские сокеты не слишком ли жирно для взаимодействия внутри локальной машины?? Не лучше ли юзать юникс сокеты?

Если устроит пропускная способность ~1M сообщений / сек,- zmq.

Кстати берклевские сокеты не слишком ли жирно для взаимодействия внутри локальной машины

А вдруг завтра ты захочешь разнести процессы по разным машинам?

ну это цифра с потолка.. Тут же надо знать размер сообщения, пропускную способность сети и производительность системы..

у меня размер сообщения примерно 1000 байт. Вот тут есть тест http://zeromq.org/results:0mq-tests-v03