Как вы организуете свои релиз-тесты?

Question

В компании, где я работаю, мы выпускаем крупные релизы дважды в год. Обширное тестирование (автоматическое и ручное) проводится за несколько недель до этого. Автоматизированные тесты создают лог-файлы, результаты ручных тестов записываются в планы тестирования (документы Word). Как вы можете себе представить, это приводит к тому, что инженеры-испытатели управляют и интерпретируют множество разных файлов.
Как вы тестируете релиз?
Например. Используете ли вы трекер ошибок? Вы используете какие-либо другие инструменты? Как вы определяете, что должно быть проверено? Кто проводит тестирование? Каково соотношение разработчики / тестеры?

Answer 1

Вы можете использовать комбинацию средства отслеживания ошибок (JIRA, Mantis, Bugzilla) и инструмента управления тестовыми наборами, например testlink

Answer 2

Практически невозможно правильно организовать тестирование, не отслеживая результаты теста и его результаты. Мы используем PMC suite (1), и он имеет очень полезную организационную структуру для тестов:

• Тестовые сценарии (батареи тестов)
  • Тестовые случаи (связаны с требованиями)
    • Тестовые прогоны с соответствующими результатами

Они связаны с ошибками, которые, в свою очередь, связаны с задачами и т. Д.

Когда выполняется ручной тест, тестировщик выполняет сценарий и проходит тестовые случаи с отслеживанием результатов. Все найденные проблемы задокументированы как ошибки.

1. он разработан моей компанией, но, пожалуйста, не считайте это рекламой:)

Answer 3

Если вы разрабатываете продукты и технологии MS, вы всегда можете посмотреть на Team Foundation Server . Я считаю, что он идеально подходит для управления автоматизированным модульным тестированием / сборкой, управления ошибками, управления результатами тестирования, назначения задач тестирования и т. Д. Именно это мы и используем. Это не дешево, но стоит инвестиций, если в бюджете.