Есть Jenkins, на котором собираются условно две ветки, и в каждой ветке 32/64 билд. Также есть win билд (кроссплатформенное приложение).
Для каждого из этих билдов можно (точнее нужно) запустить ночью 3000 интеграционных тестов - каждый из них последоватьльно на каждом из билдов. Примерно так:
Test 1 of 3000:
BRANCH1_LIN32 OK
BRANCH1_LIN64 OK
BRANCH1_RHEL64 OK
BRANCH2_LIN32 OK
BRANCH2_LIN64 FAIL
BRANCH2_RHEL64 FAIL
WIN OK
Test 2 of 3000: ...
Bash скрипт для этого есть, запускается вручную. Ну RHEL/win ходят через ssh например но это детали. Скрипт генерит junit output, т.е. если запустить только например BRANCH1_LIN32 то получим junit.xml со всеми тестами, jenkins его покажет. На данный момент это делается дл BRANCH1 и BRANCH2 - два отдельных проекта в jenkins.
Но это неудобно и не охватывает все ветки. Нет истории.
Поэтому может кто подскажет какой известный способ, как организовать учёт тестирования сразу всех билдов на разных машинах и конфигурациях, чтобы хранилась история, чтобы было видно, что скажем 32 бита сломалась и 64 нет. Или что сломалось только на RHEL. Скрипт дописать не проблема, придумать бы только саму систему. Сами по себе отдельные тесты запускаются как обычное приложение, PASS/FAIL парсится из их output и результаты добавляются в junit.xml прямо баш скриптом.
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
Похожие темы
- Форум Результаты HTML5 тестов (2010)
- Форум Результаты теста S.M.A.R.T (2014)
- Форум результаты тестов DOOM3 (2004)
- Форум jitsi хранение истории (2015)
- Форум Unigine_Heaven-2.5 результаты тестов... (2011)
- Форум Хранение истории в Kopete (2013)
- Форум Праллельный тест нескольких классов (2014)
- Форум Непонятный результат offline теста HDD (2016)
- Форум [история успеха] тесто для пиццы (2009)
- Новости Проведен анализ результатов тестов производительности языков (2009)