.NET Test Harness, что должно быть

Question

У нас есть программная компания, разрабатывающая для нас код проекта .NET Web Service (WCF), и мы также платим за тестовый комплект, который будет создаваться как отдельная оплачиваемая задача на ежедневной основе. Я только что присоединился к компании и проверяю, что мы получаем от компании разработчиков программного обеспечения, и хотел знать, что вы, ребята из отрасли, думаете об этом?

По сути, мы получили WinForm, который называл w / s, у которого была область ввода (запрос веб-службы), чтобы отбросить нашу кнопку XML «Отправить» вместе с областью ответа для результата веб-ответа, и все. Наш внутренний БА создал все документы запросов xml, поэтому в этом не было никакой логики.

Просматривая в сети определение тестового жгута, я получил это: http://en.wikipedia.org/wiki/Test_harness

В нем говорится, что он должен иметь следующие 3 вещи:

• Автоматизация процесса тестирования.
• Выполнение тестовых наборов тестовых случаев.
• Создание связанных отчетов об испытаниях.

Очевидно, что мы ничего этого не получили, кроме частичной «Автоматизации процесса тестирования» с помощью WinForm.

ОК, исходя из своего опыта разработки, я ожидал, что кто-то произведет WinForm в качестве тестового набора 5 лет назад и действительно должен использовать какой-то инструмент для этого, я недвусмысленно сказал Software House, что ожидаю какой-то инструмент (NUnit , NBUnit, SOAPIU), чтобы мы могли создать регрессионный тестовый пакет для будущего использования. [Не получил, но я попросил об этом после того, как требования были подписаны, поскольку я тогда не работал:)]

Сможет ли кто-нибудь уточнить со мной, является ли мое требование слишком реалистичным; я знаю, что если бы я это сделал, я бы использовал NUnit и TDD, а затем использовал бы тестовый жгут в качестве пакета регрессионных тестов в будущем?

Мне интересно посмотреть, что думает сообщество.

Приветствия

Обновлен:

Привет, Бениамин, спасибо за ответ, рад видеть, что я не сходил с ума, ну, во всяком случае, пока нет :) То, что нам дали, - это скорее базовый «модульный тест» WinForm, который я использовал бы в .NET 1.1 выполнять «Модульное тестирование», а не тестовый комплект, за который мы платим как Клиент.

Конечно, мы заплатили только за 1 день работы разработчика за тестовую привязку, но веб-сервис довольно прост, и после разговора с БА всего 10 тестов (положительных и отрицательных) всего.

WinForm, данный, я думаю, занял бы максимум 2 часа / 2 часа, 2 минуты для пользовательского интерфейса и 1 час для добавления веб-ссылки и создания прокси-объекта на стороне клиента и вызова службы, а также 30 минут для его тестирования.

Я думаю, что они могли ускорить работу. NUnit создал 10 тестов TestFixture для чтения XML из файловой системы (созданной BA), затем вызвал Web-сервис из NUnit и проанализировал результат (pass / fail) путем утверждения ответа. Ну, это то, чего я ожидал в любом случае:)

Answer 1

Полагаю, на самом базовом уровне тестовый жгут - это просто небольшая программа, которая позволяет вам тренировать то, что не имеет пользовательского интерфейса. Тем не менее, основной жгут, который я мог бы использовать, чтобы увидеть результаты своего веб-сервиса при разработке, - это не тот жгут, который я ожидал бы получить от чего-то, что я покупаю.

Если бы я предоставлял тестовый набор кому-то еще, я бы, вероятно, сделал бы гораздо больше, чтобы показать серию тестовых случаев, изучить крайние случаи и разрешить автоматизацию. Таким образом, подобный тестовый комплект документирует и дает примеры того, как использовать API в сервисе.

Конечным результатом будет наличие тестового набора тестов NUnit. Особенно, если бы я уже написал тестовую библиотеку NUnit, то предоставление этого кода кому-то еще было бы бесплатным и четко изучало бы и документировал API.

Итак, я не считаю, что ваше требование к автоматизированному испытательному комплекту является обоснованным. Но без предварительного определения, вы, вероятно, редко будете получать такой тестовый комплект.