Хотел бы проконсультироваться с форумчанами о том, кто как меряет эффект от оптимизаций.
Дано: Логи с указанием времени ответа бэкенда. Произведена некоторая оптимизация от которой это время зависит (в моем случае это была база данных).
Требуется: Каким-то образом подсчитать эффект произведенного изменено. Иными словам и надо отобразить «стало быстрее» в какой-либо осязаемой форме.
В ручном режиме можно пойти на странички, найти те что быстрее, выбрать из логов время бекенда за прошлый дни и сравнить с новыми значениями.
Но:
1. Такой подход не масштабируется на пару тысяч страниц
2. Не все страницы одинаково часто используются. Иными словами ускорение на 100 мс страницы просматриваемой миллион раз в день это лучше чем ускорение на 10 секунд страницы с 10 посещениями.
3. У бэкенда множество зависимостей, посему некоторые страницы показывают слишком большой разброс в результатах, чтобы было на глазок понятно стало лучше или нет конкретно для нее.
Интуитивно понятно, что тут надо применять методы анализа численных рядов _для каждой страниицы_ в отдельности. Но какие и как? Возможно надо анализировать два ряда «до» и «после», вычислять какие-то ветрики для них и сравнивая их находить те страницы на которых виден эффект. Но какие? Просто среднее за день сработало неплохо для «стабильных» страниц, но ничего не показало для более шумных.
Подскажите или направьте в гугол, наверняка же проблема то уже решенная.
статистика