замедляется for с каждым проходом

Может кэшей не хватает?

каких кешей? где?

в сервере? так память на месте стоит и не увеличивается.

в Mysql?

в коде?

чем больше X тем «limit X,5000» дольше отрабатывает

Читать до просветления: http://use-the-index-luke.com/blog/2013-07/pagination-done-the-postgresql-way

вот прямые запросы в базу, без скрипта

select * from statistic limit 0,5000;

5000 rows in set (0.01 sec)

select * statistic limit 450000,5000;

5000 rows in set (0.28 sec)

я так понял ничего не поделать? прям вообще ничего?

просто если я селектить буду по 1к а не по 5к и записей будет не 500к а 5кк то масштаб проблемы будет еще более глобальный?

за ссылку спасибо, все наглядно, с графиками и примерами, вот только на английском и ничего непонятно( можно в двух словах обьяснить что можно сделать?

допустим в исходную таблицу я могу давать только селекты. навешивать нвоые индексы или еще что я не могу.

зачем тебе такая постановка задачи ? Если хочешь копировать таблицу полностью - используй COPY. Если по каким-то условиям - конкретизируй условия ( например за день, час, минуту, и т п)

Если есть индексы в базе, то чем больше записей уже в ней есть - тем дольше будут проходить инсерты.

Перед миграцией:
SET foreign_key_checks = 0;
SET UNIQUE_CHECKS = 0;
SET AUTOCOMMIT = 0;

После переноса:
SET foreign_key_checks = 1;
SET UNIQUE_CHECKS = 1;
SET AUTOCOMMIT = 1;
COMMIT;

P.S. Это работает только в рамках одного соединения.

индексов в базе нет, перед копирование создается структура идентичная структуре исходной базы. индексов в ней нет

пс. база mssql (mariadb последней версии для centos из репозиториев)

у него проблема с селектами, как решать више уже дали ссылку

можно без limit-a и флаг «mysql_use_result» (см. https://metacpan.org/pod/DBD::mysql#STATEMENT-HANDLES )