[mysql][engine][выбор] Какой engine выбрать для задачи?

можно. Ставь innodb и смотри что будет. Тока учти что на конвертацию таблиц потребуется время(может быть даже часы и дни, зависит от многих причин). В течение этого времени таблица будет залочена.

Попробовал innodb - на нескольких потоках так же тормозит. Сейчас хочу попробовать множество небольших таблиц MyISAM, т.к. они самые быстрые все же и если отдать каждому потоку по таблице, это поможет избавится от локов.

> Попробовал innodb - на нескольких потоках так же тормозит. нуу, надо с умом переводить. Не всё подряд а те таблицы в которые обновляются во время селектов. Короче, на mysql.com всё написано.

> отдать каждому потоку по таблице, это поможет избавится от локов. это как?

Это так:

Вместо одной большой таблицы table с 100 млн записями создаем 100 таблиц table_1...100, в которые раскладываем данные из table.

Потом запускаем по 10-20 процессов (можно больше, зависит от железа), которые обрабатывают эти маленькие БД. По окончании собираем все в одну.

Это позволяет обойти TABLE LOCK'и и сохранить скорость работы

Я к этому же выводу пришел постепенно. Если взять какое-то поле из большой таблицы, сделать в ещё одной таблице индекс вида:

значение поля: имя таблицы

и затем делать выборку не в один запрос, а 2

1) Получаем имя таблицы по значению индекса 2) Делаем выборку из нужной таблицы по доп. условию

Когда с таблицей работает большое количество клиентов - увеличение производительности ощутимо: сразу перестают по 100 секунд висеть запросы в show processlist со тратусом LOCKED.

Да, при желании эту схему можно разнести не несколько серверов - будет еще быстрее=)

разнос таблиц это щардинг. Эффективное средство если есть возможность разнести независимые данные по разным серверам.

> сразу перестают по 100 секунд висеть запросы в show processlist со тратусом LOCKED.

тот случай когда innodb более чем уместен.