[java][postgresql] Помогите советом по оптимизации

На период загрузки дропать или дизаблить индексы и констрейнты.

Использовать загрузку из файла, а не insert, как в mysql load data infile

Если много записей добавляется только раз - то лучше отключить индексы на таблице (перестроить их после загрузки данных на порядок быстрее). Так же в постгре есть метод для добавления множества записей без оверхеда INSERT-а, она, iirc, называется COPY. Также можно изменить параметр автозаписи на диск транзакций (в доке по постгре есть пример)

И ещё - постгря очень сильно нуждается в доработке напильником конфигов.

Транзакции нужны=) Если не нужны ни транзакции ни хранимые процедуры - то используй мускуль.

ЗЫ. с постгрей никогда не работал.

> На период загрузки дропать или дизаблить индексы и констрейнты.

опередил;)

>Если не нужны ни транзакции ни хранимые процедуры - то используй мускуль.

Вот тут можно поподробнее? Задача то простая. Один раз залить таблицу в виде id,value,status данных порядка 100-200млн.

потом их пачками доставать и апдетить status. Pgsql не будет "ускорять" эту задачу, по сравнению с mysql?

И если не сложно - давайте плиз ваши советы немного уточняя, что ли=)) а то первый совет я так нагуглить и немогу=))))

Откуда берутся загружаемые данные ?

Из файлика, построчно.

Вообще как видите задача достаточно типовая примитивная - но "энергоемкая", может есть какие альтернативные технологии?

>Из файлика, построчно. Просто возможны бы были варианты, если данные из другой базы. Хороший такой файлик на 100 миллионов записей :-)

А дляя чего данные затачкивать в базу ? Какие операции гонять потом на этом наборе ?

Можно еще посмотреть в сторону Berkeley DB, например.

Ну какие операции - многопоточная программа будет массово проверять эти данные и потом ставить соответствующий статус, после проверки. Т.е. задача сводится в залить данные в бд, потом это все дело постоянно читать, апдейтить индексы.

Я понимаю что можно впринципе отказаться от базы данных и все просто раскидывать по файликам, и просто вести индекс-файл, но вот есть задача еще и постоянно иметь сводную статистику по наличию данных с соотвтствующими индексами.

Кажется что Berkeley DB именно то, что нужно было, и ненадо городить никаких постгресов и мускулей. Сейчас будем тестировать.

Посмотри на Berkeley DB. Есть Java API (несложный). Выдерживает большие объемы, кроме того

>все просто раскидывать по файликам, и просто вести индекс-файл, но вот есть задача еще и постоянно иметь сводную статистику ...

эту часть тебе там облегчили.

Я не в курсе PostgreSQL, но MySQL понимает его формат, что может оказаться удобным для быстрого импорта.

Это как? Я видел только утилиту, выдающую статистику после полного просмотра БД. А поживее можно?

> Предвижу что просто инсерт тут не рулит?

insert штука хорошая при правильном использованиии, но есть такие слова как "журнал", "сегмент отката" и прочие околотранзакционные механизмы. Опять таки, insert insert'у рознь. Если лить данные из жабы, то можно например посмотреть в сторону PreparedStatement и batch job, что может заметно повысить производительность, ну и естественно уменьшить количество транзакций - то есть заливать блоками по 10-20 тысяч записей, с commit'ом после каждого блока.

Ну и, как правильно написали, отключить индексы и констрейнты.

> Может я вообще не в ту сторону смотрю? Может для моей задачи лучше использовать какие другие хранилища?

Oracle с его механизмами разеделения данных (партиционирование). Но это дорого, хотя на больших объемах оно того стоит.

> И если не сложно - давайте плиз ваши советы немного уточняя, что ли=)) а то первый совет я так нагуглить и немогу=))

http://www.postgresql.org/docs/8.3/static/populate.html

> Pgsql не будет "ускорять" эту задачу, по сравнению с mysql?

Тут я не могу ничего точно сказать. Но слышал рассказы о том что постгря на порядок быстрее мускуля, если её правильно настроить и использовать. Поэтому и смотрю сейчас в сторону этой БД (хочу попробовать на реальном примере сравнить эти базы). Очень уж привлекательны транзакции и хранимые процедуры. Также слышал, что постгря на порядок лучше работает, чем мускуль, с большим числом конкурентных апдейтов.

Может кто то сравнивал на реальных задачах мускуль и постгрю - поделитесь опытом (имеется ввиду нетранзакционную MyISAM и транзакционный PostgreSQL обработанную напильником).

А в твоём случае действительно лучше использовать хеши (BerkeleyDB к примеру).

а ты сравни скорость инсертов не myisam vs postgres а innodb vs postgres :) . Ну и в постгрес грузи через COPY

>Очень уж привлекательны транзакции и хранимые процедуры

Вот некоторые повторяют - транзакции, хранимые процедуры... вы какую версию мускулю используете? Ау, народ, редхат 6.2 уже пора обновлять:))

Всё это есть в мускуле уже сто лет.