Мы магазин MSFT с обширной лицензией MSDN.
После многих лет неправильных действий мы наконец-то должны начать автоматизированное тестирование.
Моя группа - это морские свинки. Нам нужно создать то, чего не было раньше. Мы посмотрели на множество вариантов там. Некоторые люди прекрасно справляются с альтернативами с открытым исходным кодом, такими как CC.Net, Bamboo, MbUnit и т. Д. Мы хотим дать MsTest, CodedUI, Team Build хорошую попытку ... возможно, как хорошо из-за лицензирования MSDN и фокуса MSFT.
Плюсом и минусом действия MSFT является то, что MSFT создает монолитные вещи. Вы должны установить различные инструменты, которые хорошо играют друг с другом, но с посторонними - не обязательно. Плюс в том, что когда все сделано правильно, все должно функционировать довольно гладко. Существует возможность проведения закрытых проверок, использования TFS для хранения отчетов и т. Д.
Честно говоря, меня смущают все варианты. Наша традиционная система сборки была взломана вместе с кучей Perl, пакетных сценариев, исполняемых файлов, но теперь команда разработчиков переключилась на Team Build, которая должна быть чище, но по большей части это всего лишь оболочка к тому же старому дерьму Perl. .
Я тоже склонен взламывать вещи для тестирования, потому что я могу хотя бы увидеть, что это за штуки. Итак, я представляю версию бедняка как:
* Выделенный быстрый компьютер для запуска тестов
* Некоторые сценарии для копирования файлов сборки (тестовый код, а также код продукта) на этот компьютер.
* Пакетный / Perl-скрипт, который запускает mstest.exe из командной строки и выполняет несколько тестовых пакетов для некоторого фильтра по категориям в некоторых тестовых библиотеках (продукт настолько огромен, что мы хотим организовать тесты по различным категориям).
* Некоторые сценарии, которые будут вызывать последний сценарий удаленно с сервера сборки с помощью psexec.exe (http://technet.microsoft.com/en-us/sysinternals/bb897553),, а также извлекать выходные данные xml с общего диска, а затем отправлять электронную почту с результатами тем, кто заинтересован.
*
Вероятно, это может сработать, но мне нужно беспокоиться о том, насколько хорошо обработка ошибок может работать с таким количеством потенциальных точек отказа. Было бы неплохо настроить все «правильным образом», используя преимущества того, что приготовила MSFT. Я просто не уверен, куда обратиться за хорошим гидом. Вы сделали что-то подобное?
В конечном итоге нам понадобится ферма тестовых компьютеров, если нам не хватит выделенного времени. Еще одна проблема - для успешного выполнения тестов пользовательского интерфейса я думаю, что пользователь должен войти в систему, поэтому я не уверен, что psexec будет здесь очень полезен.
Можете ли вы поделиться своим положительным / отрицательным опытом, укажите мне, возможно, хорошего гида? Спасибо!