История изменений
Исправление crutch_master, (текущая версия) :
Куски выгружай больше, обрабатывай и делай batch insert (или как его там, bulk?) ну или вообще делай csv, который потом можно быстро экспортировать средствами базы. 200М записей - это жирно для mysql, но не должно быть смертельно настолько, чтобы по 20 часов считать.
Хотя, в оракл я накидываю 3М записей за полчаса. Т.е. 180М за 20 часов. Но там намного больше запросов вычислений, конечно.
далее выполняю расчеты - берется 5 переменных и базы и 30 констант множатся делятся 1 на другую - вывод записывается в базу данных
Может это вообще делать запросом на стороне бд? Судя по описанию какая-то элементарщина, решаемая одним апдейтом/insert into table x (...) select ... from y
Исправление crutch_master, :
Куски выгружай больше, обрабатывай и делай batch insert (или как его там, bulk?) ну или вообще делай csv, который потом можно быстро экспортировать средствами базы. 200М записей - это жирно для mysql, но не должно быть смертельно настолько, чтобы по 20 часов считать.
далее выполняю расчеты - берется 5 переменных и базы и 30 констант множатся делятся 1 на другую - вывод записывается в базу данных
Может это вообще делать запросом на стороне бд? Судя по описанию какая-то элементарщина, решаемая одним апдейтом/insert into table x (...) select ... from y
Исходная версия crutch_master, :
Куски выгружай больше, обрабатывай и делай batch insert (или как его там, bulk?) ну или вообще делай csv, который потом можно быстро экспортировать средствами базы. О каких объёмах идёт речь? 100к записей? 10М+ записей?
далее выполняю расчеты - берется 5 переменных и базы и 30 констант множатся делятся 1 на другую - вывод записывается в базу данных
Может это вообще делать запросом на стороне бд? Судя по описанию какая-то элементарщина, решаемая одним апдейтом/insert into table x (...) select ... from y