Какое IPC выбрать для связи GUI с приложением?

вопрос настолько расплывчатый, что тут надо ответить: телепаты в отпуске.

смотря что за приложение, что за гуи, что за требования к приложению и гуи. вариантов-то не много: сокеты, пайпы, rpc, dbus и прочее прочее.

Сокеты.

текстовые файлы

да любое. чем гуй приложение принципиально отличается от не гуй приложения? викинул представление - те же яйца.

Ткну пальцем в небо — zmq бери.

SOAP

П оно точно надо? Может тебе rpc надо?

POSIX sockets

Для Qt есть ещё QSharedMemory.

Кроме сокетов (и около них) кросплатформенного ничего не изобрели. Бери ZeroMQ как сказали выше.

В Qt есть QLocalSocket. Работает везде.

В качестве транспорта для сообщений можно взять тот же TCP (если надо зашифровав его SSL-ем), дабы иметь гибкую схему развертывания: GUI на одной машине, приложение - на другой. В качестве формата передачи сообщений по каналу связи можно рассмотреть HTTP, ибо позволяет слать бинарные данные и данные заранее неизвестной длины (chunked encoding) - будет минимум ограничений. Собственно сообщения можно сериализовать в XML, опционально сжав их для экономии трафика, ну и, как уже сказано, обернув в HTTP.

Программные компоненты для асинхронного обмена (сообщения принимаются и передаются одновременно независимо друг от друга) выбирай на свой вкус. Люди, вроде как, ZeroMQ с успехом используют, я свой велосипед (1, 2, 3) набросал, так что смотри сам.

gtkserver + любой IPC http://www.gtk-server.org/examples.html

Если локально, то stdin/stdout.

Похоже, определиться будет не просто, поэтому советую выделить его в отдельный класс/библиотеку с хорошим АПИ, чтобы можно было подменять этот IPC, не переписывая ни основное приложение, ни GUI.