Мб дело в индексах, секунды - перебор? Около года назад эксперементировал как раз с выборкой логов из постгриса и монги, при дефолтных настрйоках. Монга, в среднем, показала себя быстрее на два порядка, при ~1кк мелких записей/документов.

питон (да и все скриптовое) это не про скорость же. Но можно посмотреть в сторону редиса (или чего там в ОЗУ хранит)

Покажите запрос, интересно посмотреть.

а если тупо в RAM всё хранить, тогда может и простого SQLite хватит?

питон (да и все скриптовое) это не про скорость же

У него там всё время I/O съело, при чём тут питон или не питон

при том что ему нужны милисикунды, поборет I/O - начнет упираться в это.

простого SQLite хватит

простой или не простой, но при верном использовании может MySQL (ну да, такая себе заслуга) уделывать по скорости

postgres настроен? С дефолтными настройками он тормоз.

(или чего там в ОЗУ хранит)

Если у него памяти хватает и эта табличка активно юзается и так все в памяти будет сидеть.

Ты давай для начала свой рот закрой, да.

при том что ему нужны милисикунды, поборет I/O - начнет упираться в это.

Ну я щас пример из bottlepy запустил, посмотреть на тормоза питона, вот такой -

from bottle import route, run


@route('/hello')
def hello():
    return "Hello World!"

run(host='127.0.0.1', port=8000)

Результаты такие -

ab -c1 -n1000 http://127.0.0.1:8000/hello
Time per request:       0.408 [ms] (mean)
Time per request:       0.408 [ms] (mean, across all concurrent requests)


ab -c1 -n1000 http://127.0.0.1:8000/hello
Time per request:       5.980 [ms] (mean)
Time per request:       0.598 [ms] (mean, across all concurrent requests)

И это на встроенном веб-сервере. Можно еще ускорить.

Да, но нет

не думай что я хэйтер. Я питон использую везде где это можно. конечно он достаточно быстр в запросах. Просто если у него постгре тормозить умудряется то я логично предположил, что данных сильно много, да и драйвера к БД по опыту сильно медленнее заточеных клиентов

Вангую, что у него постгрес не настроен.

Он не написал вообще как он хранит данные в нем, есть ли индексы, какие запросы.

Вангую, что для его задачи вообще бд не нужна.

посгрес на дефолтных настройках это кусок говна. Так что сравнение невалидное.

Вангую, что для его задачи вообще бд не нужна.

Нужна, только ему скорее всего нужно вытащить из логов адреса и уже уникальные засунуть в базу.

Интересно, кто-нибудь понял вообще что значит «возвращать истину для двух ip-адресов из одной подсети, которые встречаются в логе циски»? По формулировке нужно не питону хранилище быстрое, а мозг топикстартеру.

А точно в памяти это в самом процессе нельзя хранить?

Ванга моде

Ну, предположим у тебя текстовых логов на 20 гиг. Ты закинул все эти логи в базу sql построчно. И теперь при каждом вызове ты начинаешь парсить эти 20 гиг заново. Ну и откуда у тебя скорость то будет, если ты раз за разом делаешь одну и ту же работу?

Т.е. тебе надо сначала обработать 1 раз 20 гиг, а уже потом результаты обработки записать в базу в виде пар ip + маска сети. И вызовы твои ускорятся в тысячи раз.

Всем спасибо, померял time-м скорость работы psql и mongo, однозначно выбираю mongodb, так как она значительно быстрее выбирает мои данные

питон (да и все скриптовое) это не про скорость же.

нодежс с тобой не согласен

Просто ты не умеешь готовить постгрес.

да лан тебе, видал я этот ваш nodeJS, он уже перестал из коробки всю свободную память сжирать и убиваться oom-killer-ом ?

питон (да и все скриптовое) это не про скорость же. Но

Чойто?

это в первой альфе было что ли? месяцами на апи работает, жрет очень мало памяти

видал я этот ваш nodeJS

есть обоснованные сомнения на этот счет

обоснованные

в сомнения верю, но обосновывать тебе физически нечем (а у меня кстати пруфы есть, но не хватало доказывать что-то в интернетах) в любом случае спор о технологиях ведет в холивар никуда

Да, однако твое изначальное утверждение не верное, нода скриптова (для юзера) и довольно быстра, жрет так же весьма мало.

ipv6 адрес 128 бит. Плюс там около 40 бит на всякие расходы на структуры в Java и hash set. Определяешь подсеть и просто кладешь их в него. Я сомневаюсь что у тебя таблица содержит хотя бы 10^28 значений. Ну в общем большая часть проблем быстро решается hash map/set.

Небось, полнотекстовым поиском ищешь?