Система приемочного тестирования

Это какие же тесты нельзя провести автоматически?

Допустим, тест на прием gps. Фокусировку камеры тоже не проверить, ибо нужно анализировать видеопоток.

А что мешает автоматизировать эти тесты?
Программный автофокус в мыльницах уже больше десяти лет как придуман, приём гпс так вообще как нефиг делать проверяется.

Если объёмы такие, что настало время уменьшать человеческий фактор – уменьшать его надо насовсем.
А если не такие, то нечего тратить время на разработку бесполезного, нанять ещё одного-двух гоблинов и пусть работают руками.

Не все можно таки автоматизировать, ибо для некоторых тестов нужна подготовка и во время теста необходимо проводить манипуляции.

слабо понимаю о чем ты вообще, по описанию тебе нужен testlink

Ну да, подготовка, в розетку воткнуть и кнопку нажать, куда уж без этого.

Как насчет гуглодока с последовательностью форм?

• Автофокус ок? [Y/N]
• GPS ок? [Y/N]
• ...

А на выходе отчет с графиками и галочками. Збс?

Если объёмы такие, что настало время уменьшать человеческий фактор – уменьшать его надо насовсем.

чушь какая

с железками я не знаю. Но для примочного тестирования ПО используем fitnesse

Чушь это твоя аргументация

Смотрел я этот фитнесс - не впечатлило. Сейчас разбираюсь с TestRail, Squash TM и QAComplete. Вот только все больше убеждаюсь, что придется таки свое писать. :(

Когда первый раз смотрел фитнесс меня тоже не впечатлило... но потом

На чем тесты пишете?

ИМХО, лисапет.

Что именно?

тест на прием gps.

По готовности будут координаты.

Фокусировку камеры тоже не проверить

А как по-твоему работает автофокус во всевозможных камерах? Сидит маленький китаец и анализирует видеопоток?

куда интереснее на чем вы тесты пишете и еще интереснее - чем запускаете. если, к примеру, это CI с дженкинсом - то действительно вкорячить тестлинк и всего делов. если свой велосипед - то надо смотреть, насколько он расширяемый.

ok, распишу: уменьшение человеческого фактора «насовсем» любой ценой - бессмысленная трата ресурсов и прямой путь к затягиванию сроков. расширение тестового фреймворка и автоматизация собственно кейсов может стоить нескольких месяцев работы сеньор девелопера. дополнительные траты на прогон нескольких ручных кейсов (при том, что в любом случае должен быть человек который поддерживает существующие тесты и занимается анализом их результата) - час или два работы тестера, при релизах раз в неделю, например. итого окупится эта автоматизация любой ценой года через 2, это без учета того, что сеньор девелопер еще и отвлекается от основной работы.

Пока не пишем. Все пошло от того, что у нас 80% возврата, начальство решило, что это отдел тестирования плохо работает, соответственно, необходимо снизить человеческий фактор. А мне поручили это все разработать. Вот теперь изучаю вопрос.

Ок, но в данном случае всё же следует автоматизировать фокусировку и геолокатор, иначе всё это не имеет смысла.

Для начала стоит не начальство слушать, а на причины возвратов посмотреть. Наверняка проще и полезней будет укрепить слабое звено, чем городить новый отдел.

тогда хз, выбор test management system обычно делают на основе того, как организован процесс тестирования. а если процесса нет - не рано ли ты заморачиваешься выбором?

Процесс тестирования есть по чеклисту.

Ну мы то на C#, т.к. тестируем С# код в итоге.

Тут железка, так что, планирую писать тесты на разных языках (python, с++, java), кому как удобнее. Планируется, что все разработчики будут писать тесты. :)

FitNesse написан на Java. Основателем проекта является Роберт Мартин. Первые версии программы поддерживали только Java, но со временем поддержка расширилась до множества других языков (C++, Python, Ruby, Delphi, C#, etc.)

Тесты в очень удобном формате, так что создать тест сможет, например како-нибудь менеджер, на основе созданных. Удобно.

Собственно тут все написано http://ru.wikipedia.org/wiki/FitNesse

А есть такая возможность: притащили новую железку, создали для нее задачу, в ней добавили несколько тестов и прогнали их, потом еще несколько тестов добавили и прогнали их, потом сформировали общий отчет.

ты, наверное, догадывался, что следующим вопросом будет вопрос что собой представляет чеклист и насколько там сложные сценарии?
ну и как часто девайсы вообще необходимо проверять

Как я понял, процедура такая:

• Приносят девайс
• Осматривают его снаружи
• Проверяют включается ли он вообще
• Залезают на него по ssh и делают некоторые настройки
• Устанавливают на стеллаж на 5 суток, в течении которых периодически закидывают по ssh скрипты, запускают их (проверка дисков, проверка вентилляторов и т.п.) и анализируют полученные данные.
• Проверяют камеру, для этого выставляют нужное освещение и анализируют изображение.
• Делают еще какие-то тесты, для некоторых вообще вытаскивают девайс на крышу.
• Выставляют нужные настройки и отправляют на поверку.

Если я правильно понял, то речь идет о групперовке тестов? В fitnesse есть понятие Suit. И вообще там возможно выстраивать целую иерархию тестов, тоесть группы, подгруппы, в них еще и еще. Можно выполнять все отдельно, можно группами.

Кстати там еще есть разнообразное наследование, инклуды и прочее, для облегчения создания новых тест кейсов

Надо будет еще раз глянуть...

Вот хорошая книга по fitnesse. Не обращайте внимания на то что она .net. Основы все равно одни http://gojko.net/fitnesse/

с такой скоростью - бери любой вариант. лишние 5 минут возни на оформление тестов и их результатов не критичны, имхо.

Как я понял, понятия пользователей нет. Или я просто не нашел?

Это для разграничения прав пользовтелей самих тестов? Необходимости в этом не возникало. Если только посмотреть кто сделал этот тест и когда, но все тесты лежат под контролем версий и проблем с эти нет.

Сейчас глянул, да, скорее всего нет такого понятия. Но никто не мешает его добавить =) (https://github.com/unclebob/fitnesse)

P.S. Я особо не всматривался, это не то?

Взято отсюда http://www.fitnesse.org/PlugIns

Меня интересует именно отметка о том, кто правил/создавал страницу.

О, нашел, http://fitnesse.org/FitNesse.UserGuide.AdministeringFitNesse.CommandLineArgum... параметр -a.

Замечательно!

На самом деле FitNesse крутая система. Только ее надо распробовать

Что-то не то, все таки. Указал ему файл с пользователями, он его подхватил, но в интерфейсе нет ничего похожего на логин. :( И что-то доки по фитнессу мне не нравятся - как-то мало написано.

Я в этом не силен. http://butunclebob.com/FitNesse.UserGuide.SecurityDescription Тут говорится что где-то нужно поставить галочки, я думаю в самом тесте при его создании. Проверить надо