Запись результатов теста TFS "Диспетчер веб-тестов" или другие параметры выполнения теста

Question

ВОПРОСЫ:

1. Есть ли у вас прямой или косвенный опыт работы с Web Test Manager от Sela Software Labs?Положительный или отрицательный опыт в порядке.Я просто ищу некоторые факты для принятия производственных решений.

2. Насколько рискованно устанавливать Sela «Web Test Manager» на наш производственный сервер WTM - это расширение TFS Web Access.Он расширяет возможности веб-сайта, включая редактирование шагов теста и выполнение тестов.

3. Любые другие альтернативы выполнению тестов и регистрации результатов теста в TFS, которые мы должны рассмотреть?

Сценарий: у меня есть 2-3 разработчика, которые уже на этой неделе запускают тестовые случаи.У нас есть 3 лицензии MTM (Microsoft Test Manager), которые мы используем для тестирования (2 тестера, один разработчик с VS2010 Ultimate).Приобретение еще двух полных копий Microsoft Test Professional для каждого из наших разработчиков VS2010 Pro / Premium (не Ultimate) только для периодически запускаемых тестовых случаев, а легкое редактирование тестовых примеров нецелесообразно.Нам не нужны прослушиватели трассировки для общих проходов тестов.

Вариант № 1: Sela Software Labs (Sela Group, Sela International) разработала Web Test Manager несколько месяцев назад, но отзывов о продукте или отзывов пользователей очень мало.имеется в наличии.

• Веб-сайт Sela WTM: http://www.sela.co.il/alm/products_WTM.html
• Отдельный отзыв размещен на партнерском маркетинговом сайте Microsoft: http://pinpoint.microsoft.com/en-us/applications/web-test-manager-wtm-is-the-only-tool-that-enables-to-test-with-tfs-2010-directly-from-the-browser-now-for-the-first-time-you-can-manage-your-tests-12884914644

Вариант № 2. Разработчики отслеживают своиприводит к отдельным электронным таблицам, которые тестеры затем вводят повторно, используя MTM.Это совсем не привлекательно и создает несколько утомительных рисков сбоев.

Другие варианты?

Answer 1

Я тестирую WTM, чтобы использовать его в нашей компании.У нас есть общие причины, упомянутые вами.Для этих вопросов WTM кажется хорошим и единственным вариантом.Вы правы, к сожалению, отзывов почти нет.Так почему я хочу поделиться своим опытом с WTM здесь.

1. Установка проста и быстра.Нет проблем.
2. На веб-странице не так много документации.Какая жалость.Надеюсь, что Sela сделает это лучше в будущем (например, VisualAssist X Extension в качестве примера для хорошей общедоступной страницы).По крайней мере, после его установки в папке WTM есть хорошая документация в формате pdf.
3. Технически расширение очень хорошее.Но есть все еще некоторые ограничения (перечисленные в документации) и улучшения, которые необходимо сделать (например, фильтрация, редактирование шагов теста для настроенного рабочего элемента TFS TestCase)

Я думаю, на данный момент это хороший вариант длятестеры, которым не нужны все функции MTM.

Answer 2

Я создал инструмент с открытым исходным кодом, который называется TFS Test Steps Editor .Первоначально он был разработан, чтобы обойти отсутствие способности MTM вставлять разрывы строк на этапах тестирования.Я только что выпустил новую версию, которая имеет возможность публиковать результаты тестов для ручных тестов.

MTM - довольно большая боль в использовании: он медленный и глючный, и что хуже всего, он иногда теряет данные при попыткеопубликовать результат.Мой инструмент сохраняет все ваши текущие результаты выполнения теста на диск, когда вы работаете, и вы можете экспортировать .ZIP ваших результатов для резервного копирования или для повторного открытия на другом компьютере и возобновления тестирования.

Answer 3

Вы говорите об автоматизированных тестах или ручных тестах?Для автоматизированного тестирования, я считаю, вам не нужны дополнительные лицензии VS.

Необычная версия: Настройте тестовый компьютер с помощью Visual Studio Test Agent (агент Build / Workflow (если вам нужно выполнить развертывание), тестовый контроллер TFS и триггерные тестовые прогоны с компьютера разработчика.Если вы все сделаете правильно, результаты будут автоматически опубликованы в TFS и прикреплены к правильным рабочим элементам TestCase и объектам сборки TFS.Проверьте Visual Studio Test and Lab Management для получения дополнительной информации об этом (определенно, некоторые дополнительные затраты на создание инфраструктуры, но это очень удобно, когда вы сделали инвестиции).Я думаю, что вы должны иметь возможность запускать рабочие процессы Build-Deploy-Test из любой лицензии VS, которая имеет доступ TFS.но не беспокойтесь о том, чтобы подключить его к тестовому контроллеру.Установка Test Agent, по крайней мере, даст вам MSTest и возможность / публиковать результаты выполнения теста вплоть до TFS для отчетов / хранения результатов.

Если вы хотите заняться ручным управлениемвыполнение теста / составление отчетов, к сожалению, у меня не так много предложений. Большая часть моей команды была направлена ​​на автоматизацию, поэтому у меня нет большого опыта работы с интерфейсами ручного тестирования.: /