Межпроцессное взаимодействие «из коробки» Python

Процессы на одной машине или нет? От этого зависят варианты ответа.

Самые простые и беспроблемные, по опыту: redis, RabbitMQ. Но это между разными машинами.

На одной машине. Но требуется передавать не данные, а событие с данными. Чтобы вторая сторона могла «слушать» сокет (очередь), не расходуя ресурсов.

Тогда я начинал бы смотреть отсюда: https://docs.python.org/3.11/library/multiprocessing.html#exchanging-objects-between-processes

А чем ZMQ не зашла, кстати?

multiprocessing.Queue если запущены вместе

Зачем ZMQ для локального взаимодействия? Как сказали, multiprocessing.Queue, multiprocessing.shared_memory или pickle/json через unix/tcp сокет.

А что если нужен какой то сервер который долго запускается. Например большая модель для распознавания голосовых сообщений.

А обращался к ней надо из скриптов которые запускаться эпизодически.

Каталог с файлами)

Какие ещё варианты есть, не жрущие много ресурсов?

Задача - простыми JSON обмениваться.

Файл в /tmp и не изобретайте фигни на ровном месте

Чтобы вторая сторона могла «слушать» сокет (очередь), не расходуя ресурсов.

А для этого придумали юниксовые сокеты

* UNIX domain socket
* msgget(3)

Сервер может переехать на другой хост. Нужен какой то сильно упрощённый аналог socketserver на питоне.

эпизодически

У systemd есть механизм socket activation. Это как inetd, только после первого соединения сервер остаётся работать.

Кажется - то что нужно. можно практически напрямую вызывать функции из серверного скрипта

Конечно, вот простой пример использования Pyro4:

Создайте удаленный объект, который будет доступен для вызова из других процессов или машин:

import Pyro4

@Pyro4.expose
class MyObject:
    def say_hello(self, name):
        return "Hello, {}!".format(name)


Создайте Pyro-сервер и зарегистрируйте объект в сервисе именования:

daemon = Pyro4.Daemon()
uri = daemon.register(MyObject)
ns = Pyro4.locateNS()
ns.register("myobject", uri)
print("Ready.")
daemon.requestLoop()


Теперь вы можете вызвать метод удаленного объекта из другого процесса или машины:

import Pyro4

uri = "PYRO:myobject@localhost:50001"
myobject = Pyro4.Proxy(uri)
print(myobject.say_hello("World")) # выведет "Hello, World!"


Это простой пример, но Pyro4 позволяет делать гораздо более сложные вещи, такие как передача объектов между процессами, использование асинхронных вызовов и многое другое.

Файлы можно раздавать по nfs.