Я использую веб-портал TFS для создания наборов тестов для автоматического тестирования, и из тестового проекта Visual Studio я могу связать любой [Метод тестирования] с любым тестовым примером TFS. Затем тесты можно запускать из TFS.
Как вы можете видеть ниже, в моем наборе тестов есть несколько тестов настройки, а затем несколько реальных тестов. У меня есть метод тестирования, который устанавливает папку, в которой мой набор тестов затем обрезает свои скриншоты, затем я запускаю приложение, которое я собираюсь протестировать, и регистрируюсь. Затем я делаю тест, устанавливаю префикс снимка экрана с номером требования 1581 (поскольку это проверенное требование), и я повторяю это для требования 2062, а затем 2061.
Проблема в том, что эти тесты выполняются в неправильном порядке.
Я знаю об упорядоченных тестах и знаю, что могу просто поместить все это в упорядоченный тест и запустить его. На самом деле я использовал заказанные тесты, у меня и еще одного тестировщика в команде есть установка Visual Studio и умение использовать заказанные тесты. Требование остальных членов команды (ручных тестировщиков и менеджеров) состоит в том, что мне нужно разделить свои тесты (как показано ниже).
Поскольку я создал тестовый комплект ниже, я думал, что все работает. Я могу запустить первые 5 тестов. Вдохновленный этим, я добавил последние 4 теста в мой набор из 9 тестов. Все это начало проваливаться, хотя!
Теперь, когда я запускаю все 9 тестов, 4-й тест (который работал нормально) терпит неудачу, так или иначезапустить в неправильном порядке по TFS. Я знаю это, потому что все мои тесты создают 1 или более скриншотов. Эти скриншоты работают, но создаются в неправильном порядке.
Я знаю, что многие люди скажут мне использовать заказанные тесты, и они скажутмне, что каждый тест должен быть самодостаточным. Причина, по которой я отклоняюсь от этого, состоит в том, что у меня есть 4 тысячи тестов, которые подтверждают 3 тысячи требований. Если я хочу проверить, что запись участника может иметь атрибуты X, Y и Z, то это 3 требования. Я хочу 1 тест настройки (запустить приложение, войти, создать базовую запись). Затем я хочу 1 тест, который работает X, 1 тест, который работает Y, и 1 тест, который работает Z. У меня есть 3 требования, поэтому мне нужно как минимум 3 теста. Если каждый тест повторяет все настройки (запустите приложение, войдите в систему и создайте базовую запись), мой набор тестов будет работать вечно и будет слишком медленным.
Я также хочу, чтобы они были разделеныпотому что ручные тестировщики, не имеющие навыков программирования и не имеющие визуального опыта в студии, должны будут посмотреть на мои тестовые наборы, найти неудавшиеся тесты и повторно протестировать вручную. Если все мои тестовые наборы имеют 1 тест в TFS, они не будут знать, что пошло не так. Если у меня будет 9 тестов в наборе тестов и 1 не пройден, они будут знать, что нужно повторно тестировать вручную.
Наконец, я видел похожий вопрос, связанный с Microsoft Test Manager. Это не повторяющийся вопрос, MTM больше не поддерживается, поэтому я использую веб-портал (как показано на рисунке). Я также видел этот вопрос, касающийся Visual Studio 2010 и т. Д. Я использую Visual Studio 2019, так что это не дубликат, VS сильно изменился.