LINUX.ORG.RU

История изменений

Исправление LightDiver, (текущая версия) :

Да работать то оно работает. Я вот столкнулся с неприятной вещью: тут ограничение на количество элементво в общей таблице. Где то 263 тысячи элементов. Превышаем ограничение - таблица обнуляется, все слетает. Кирдык.

Я начал «оптимизировать». Пришел сейчас вот к такому формату:

https://ctxt.io/2/AAB45a07FQ

Я тут записываю логи в строки длиной 32000 символов. Во второй таблице ниже храню адреса строк. Так я никогда не переполню таблицу, но скорость очень уж медленная. Чтение 10000 строк логов занимает от 35 до 45 секунд вместо 0.01с в случае с хэш-таблицами.

Вот я и взялся оптимизировать работу с ютф. Но всеравно очень тяжко.

То есть вопрос не в том - работает или нет. Вопрос в скорости, нагрузке на цпу, нагрузке на память.

Исходная версия LightDiver, :

Да работать то оно работает. Я вот столкнулся с неприятной вещью: тут ограничение на количество элементво в общей таблице. Где то 263 тысячи элементов. Превышаем ограничение - таблица обнуляется, все слетает. Кирдык.

Я начал «оптимизировать». Пришел сейчас вот к такому формату:

https://ctxt.io/2/AAB45a07FQ

Я тут записываю логи в строки длиной 32000 символов. Во второй таблице ниже храню адреса строк. Так я никогда не переполню таблицу, но скорость очень уж медленная. Чтение 10000 строк логов занимает от 35 до 45 секунд вместо 0.01с в случае с хэш-таблицами.

Вот я и взялся оптимизировать работу с ютф. Но всеравно очень тяжко.