MySQL, ассинхронный python-клиент, медленный SELECT

Точно стоит начать с индекса у поля created.

Асинхронность, кстати, не заставит запрос выполняться быстрее ну никак. Медленность выполнения запроса в питоне связана из-за оверхеда при сериализации результата в питоновский объект. Победить это можно только использованием менее тормозной орм.

Я вас попрошу всё-таки ещё раз перечитать топик. Один и тот же запрос, но разные питоновские «коннекторы», один выбирает за 3.5 секунды, второй, тот что использует aiomysql - за 40 секунд.

Асинхронность, кстати, не заставит запрос выполняться быстрее ну никак.

Мне не нужно ничего ускорять, хочется чтобы aiomysql тупил не так сильно, не в 10 раз.

Речь про тупость PyMySQL по сравнению с mysqlclient, и желание ассинхронного mysqlclient.

Я вас попрошу всё-таки ещё раз перечитать
хочется чтобы aiomysql тупил не так сильно, не в 10 раз.

Медленность выполнения запроса в питоне связана из-за оверхеда при сериализации результата в питоновский объект. Победить это можно только использованием менее тормозной орм

Победить это можно только использованием менее тормозной орм

Какой-такой ОРМ, у вас ОРМ без коннекторов работает? Разница в выполнении запроса на уровне коннекторов.

Приведи код использования этих либин, который ты использовал для тестов.

Приведи код использования этих либин, который ты использовал для тестов.

Что там может быть интересного?

mysqlclient:

import MySQLdb

db = MySQLdb.connect(...)
with db.cursor() as cursor:
    cursor.execute(query)
    cursor.fetchall()
db.close()

[Finished in 3.7s]

PyMySQL:

import pymysql

db = pymysql.connect(...)
with db.cursor() as cursor:
    cursor.execute(query)
    cursor.fetchall()
db.close()

[Finished in 37.2s]

Я уже смотрю в сторону ежа-с-ужиком - ThreadPoolExecutor

Как у вас ОРМ-то работает? Может он перед запросом все метаданные всасысавает с СУБД. Посмотрите чего он там делает все это время.

Так где у тебя затык-то, в connect(), execute() или fetchall() ?

Так где у тебя затык-то, в connect(), execute() или fetchall() ?

execute()

MySQL, в отличие от Postgres не поддерживает асинхронность на уровне драйвера, так что вся асинхронность эмулируется оберткой для asyncio (для twisted аналогично)

голосую за ThreadPoolExecutor, по-моему, нормальное решение.

PS спасибо что запостил баг. Лучше им прислать куски кода которые бы мэйнтейнеры могли у себя тупо запустить, не думая как им создать test conditions.

Я уже aioodbc поднял, вроде воркает. И ThreadPoolExecutor тоже попробую.

Лучше им прислать куски кода которые бы мэйнтейнеры могли у себя тупо запустить.

Дык, всё из их же example.

я использую pymysql как обертку (для совместимости со старым кодом, завязанным на mysqldb) + ultramysql(самая быстрая, из тех что пробовал) + gevent (для асинхронности).

uvloop?