LINUX.ORG.RU

История изменений

Исправление Syncro, (текущая версия) :

Мильен записей по нынешним понятиям это совсем не много.

  1. Покрути настройки [mysqld] всякие размеры буферов и т.п.

  2. Кроме того, инсерт поддерживает вставку данных бетчем т.е. в один инсерт можно засунуть много рядов что сильно ускоряет вставку.

  3. Возможно у тебя пипон работает в один поток и от того выходит мееедленно и можно как-то распараллелить эту задачку ускорив в разы.

  4. В норме миллионы записей могут заехать за пару минут (или даже сколько-то секунд). Может быть будет эффективнее сформировать sql файл (или распараллелив несколько) и сунуть это все консольному клиенту. Выключать индексирование уже советовали. Посмотри как разные утилиты формируют опции импорта в дампы.

Исправление Syncro, :

Мильен записей по нынешним понятиям это совсем не много.

  1. Покрути настройки [mysqld] всякие размеры буферов и т.п.

  2. Кроме того, инсерт поддерживает вставку данных бетчем т.е. в один инсерт можно засунуть много рядов что сильно ускоряет вставку.

  3. Возможно у тебя пипон работает в один поток и от того выходит мееедленно и можно как-то распараллелить эту задачку ускорив в разы.

  4. В норме миллионы записей могут заехать за пару минут (или даже сколько-то секунд). Может быть будет эффективнее сформировать sql файл (или распараллелив несколько) и сунуть это все консольному клиенту.

Исходная версия Syncro, :

Мильен записей по нынешним понятиям это совсем не много.

  1. Покрути настройки [mysqld] всякие размеры буферов и т.п.

  2. Кроме того, инсерт поддерживает вставку данных бетчем т.е. в один инсерт можно засунуть много рядов что сильно ускоряет вставку.

  3. Возможно у тебя пипон работает в один поток и от того выходит мееедленно и можно как-то распараллелить эту задачку ускорив в разы.

  4. В норме миллионы записей могут заехать за пару минут. Может быть будет эффективнее сформировать sql файл (или распараллелив несколько) и сунуть это все консольному клиенту.