История изменений
Исправление peregrine, (текущая версия) :
Не знаю, мне не приходится много грузить из пандаса в постгри, так как я веду обработку и очистку данных прямо на стороне БД (sql запросами, иногда динамическими), а вот наоборот часто делать приходится. Но читать с pg в pandas лучше через csv который правда в оперативку кладётся (через COPY в запросе и io в python-е), а не на диск. Сильно быстрее выходит (в несколько раз). И это именно какая-то болячка пандаса, связанная с выделением памяти. Подозреваю что наоборот тоже так же работает. При этом чем грузить не важно. Что sqlalchemy что psycopg2 лагают примерно одинаково (sqlalchemy чуть больше, но это на единицы процентов разница). А вот csv ускоряет в разы.
Исправление peregrine, :
Не знаю, мне не приходится много грузить из пандаса в постгри, так как я веду обработку и очистку данных прямо на стороне БД, а вот наоборот часто делать приходится. Но читать с pg в pandas лучше через csv который правда в оперативку кладётся (через COPY в запросе и io в python-е), а не на диск. Сильно быстрее выходит (в несколько раз). И это именно какая-то болячка пандаса, связанная с выделением памяти. Подозреваю что наоборот тоже так же работает. При этом чем грузить не важно. Что sqlalchemy что psycopg2 лагают примерно одинаково (sqlalchemy чуть больше, но это на единицы процентов разница). А вот csv ускоряет в разы.
Исходная версия peregrine, :
Не знаю, мне не приходится много грузить из пандаса в постгри, так как я веду обработку и очистку данных прямо на стороне БД, а вот наоборот часто делать приходится. Но читать с pg в pandas лучше через csv который правда в оперативку кладётся (через COPY в запросе и io в python-е), а не на диск. Сильно быстрее выходит (в несколько раз). И это именно какая-то болячка пандаса, связанная с выделением памяти. Подозреваю что наоборот тоже так же работает.