При работе с PostgreSQL тормозит сеть

Я конечно извиняюсь, но где тут тормоза? Что вы от tcp ожидаете? Миллион?

TCP_CORK через LD_PRELOAD

Тормоза в том, что мы в нашем приложении делаем много быстрых запросов и производительность упирается в сеть. В связи с чем TimesTen на наших задачах уделывает PostgreSQL как стоячего.

Ок, так сколько нужно?

Стоп-стоп. TimesTen использует локальный кеш, так? Это fприори даст лучшую производительность. Те цифры, которые ты написал, скорее всего предельные для TCP. Если хочется похожую производительность, может взять что-то вроде hazelcast, ehcache?

Ну, TimesTen работает (на реальных задачах) в 20-40 раз быстрее - есть куда стремиться =)

То, что TimesTen будет быстрее, это факт ясный. Вопрос, что можно сделать с постгресом, чтоб побыстрее работало. Вот пытаемся от посылок лишних сообщений избавится, т.к. сеть «тормозит»...

Насчет всяких hazelcast, ehcache - они же NoSql? Нам это не подходит... Да они еще и для Java.

Как я понял, это опция, чтобы данные не отправлялись, пока ее не отключат. Как вариант управления - интересно, но при чем здесь LD_PRELOAD? И у нас PostgreSQL на локалхосте, для unix socket подобной опции вроде нет.

Как я понял, это опция, чтобы данные не отправлялись, пока ее не отключат.

...или до истечения тайм-аута.

Как вариант управления - интересно, но при чем здесь LD_PRELOAD?

Вбей в гугл «TCP_CORK LD_PRELOAD».

для unix socket подобной опции вроде нет.

...и это как бы намекает «попробуйте TCP-сокет» - там есть и TCP_CORK, и его противоположность TCP_NODELAY, и куча мануалов по настройке.

они же NoSql

Они вообще из другой оперы. Я имел в виду сделать из них локальный кеш для постгра на подобие того, что есть в timesten.

Ну, TimesTen работает (на реальных задачах) в 20-40 раз быстрее - есть куда стремиться =)

Так TimesTen имеет принципиально другую архитектуру и назначение. Вот и менять нужно архитекуру. Оптимизациями сети все равно не добъетесь тех же результатов, что и коммуникация в пределах ноды.

Как вариант можно попробовать приложение наоборот засунуть внутри постгра в виде хранимок. Если это позволяет задача.

Короче нужно описание задачи, а то все это остается гаданием на кофейной гуще.

Как вариант можно попробовать приложение наоборот засунуть внутри постгра в виде хранимок.

Как это? В смысле процедуры postgres'a? В нашем случае, это фактически означает, что нам нужно полностью переписать приложение. А задача, которая уже решена на TimesTen - это PCRF. Текущая задача - добавить поддержку еще одной БД.

А какой там объем данных? И каое соотношение запросов чтения/записи.

задача, которая уже решена на TimesTen

текущая задача - добавить поддержку еще одной БД.

Насколько я понял, TimeTen - это in-memory СУБД. Откуда уверенность, что задача вообще выполнима?

нужно делать нескодько одновременных запросов, тогда будет ок. И откуда уверенность что тормозит именно сеть? Три команды требуют три раза запуска парсера, например. Мб это вовсе и не сеть.

А никто и не хочет тех же самых показателей. Хотим типа сделать решение подешевле - TimesTen стоит вполне приличных денег, и если удастся заставить работать через PostgreSQL хотя бы раз в 5 медленнее...

Прямо сейчас статистикой не владею, так что врать не буду. Но, имхо, тут проблема в том, что переделывать мы по серьезному вряд ли будем. Есть уже работающий код через ODBC - добавляем небольшие оптимизации для PostgreSQL. И у нас уже получилось в 4-17 раз медленнее на разных тестах.

Какой парсер? Парсер команд - он и там и там запускается одинаковое кол-во раз (только в первом случае ему еще нужно большую команду на три маленьких разбить). А если вы про парсер сообщение, которое по сети передается, то это и есть накладные расходы на работу по сети.

и если удастся заставить работать через PostgreSQL хотя бы раз в 5 медленнее...

Начните с размещения БД на SSD... или tmpfs %)

Ага, были у нас такие мысли))) Кстати, работа с PostgreSQL через TCP-сокет процентов на 15 быстрее, чем через Unix-сокет.

через TCP-сокет процентов на 15 быстрее, чем через Unix-сокет.

С TCP_CORK, TCP_NODELAY, или с дефолтными настройками?

Пока с дефолтными. Еще экспериментировал в libautocork, но никакого прироста производительности не наблюдал. Но я совсем немного посмотрел (по сути наискосок кишочки посмотрел и запустил), т.к. домой уже уходил. Завтра еще попробую.