Тестирование большого количества компьютеров с небольшой компанией

Question

Я работаю в небольшом доткоме, который скоро запустит довольно сложную программу для Windows. Мы раскрыли номер "WTF?" Сценарии типов, появившиеся после передачи программы различным нетехническим типам, которые мы не смогли воспроизвести.

Одной из самых больших проблем, с которыми мы сталкиваемся, является проблема тестирования: всего три программиста - только один работает над этим конкретным проектом, я - нет тестировщиков, и несколько разных сотрудников (отдел продаж, так далее). Мы также географически изолированы. «Лаборатория тестирования» состоит из нескольких образов VMWare и VPC, на которых выполняются некие свежие установки Windows XP и Vista, которые выполняются на моем персональном компьютере. Нетехнические типы стараются быть полезными при возникновении проблем, мы обучили их тому, как наиболее эффективно сообщать о проблемах, и само программное обеспечение обладает широким спектром диагностических функций, но, поскольку они не такие же компьютерные ботаники, как мы, их отчеты только так полезно, и организация сеансов удаленного управления, чтобы копаться в кишках своих компьютеров, отнимает много времени.

Я ищу ресурсы, которые позволят нам расширить наши возможности тестирования без необходимости собирать реальную лабораторию и нанимать бета-тестеров. Мой начальник упомянул аренду VPS-сервисов и попросил меня обратиться к ним, однако они все еще в значительной степени самообслуживаются, и мне было интересно, есть ли более эффективные способы. Как вы или другие компании в подобной ситуации справлялись с подобными вещами?

РЕДАКТИРОВАТЬ: В соответствии с языком, наша цель здесь заключается в расширении наших возможностей тестирования систем с помощью гибкой вычислительной платформы, такой как Amazon EC2. На данный момент я не уверен, что предложения по усилению нашего модульного / интеграционного тестирования окажутся очень полезными, так как мы постоянно сталкиваемся со стенами на этапе тестирования систем. Кто-нибудь пытался провести такого рода тестирование программного обеспечения на облачном сервисе, таком как EC2?

Tom

Answer 1

Первый вопрос, который я хотел бы задать, заключается в том, проводится ли какое-либо автоматизированное тестирование?

Под этим я подразумеваю в основном модульное и интеграционное тестирование. Если нет, то я думаю, что вам нужно немедленно изучить модульное тестирование, во-первых, как часть ваших процессов сборки, а во-вторых, через автоматические запуски на серверах. Даже в приложении на основе пользовательского интерфейса должна быть возможность найти программное обеспечение, которое может автоматизировать действия пользователя и сообщит вам, когда тест не пройден.

Помимо тестов, о которых вы, как разработчики, можете думать, каждый раз, когда пользователь обнаруживает ошибку, вы должны иметь возможность создать тест для этой ошибки, воспроизвести его вместе с тестом, исправить его, а затем добавить тест в автоматизированные тесты. Таким образом, если эта ошибка появится снова, ваши автоматизированные тесты найдут ее раньше, чем пользователи. Кроме того, у вас есть уверенность в том, что ваше приложение было проверено на все известные проблемы до того, как его увидит пользователь, и вам не придется несколько дней или недель сидеть вручную, пытаясь это сделать.

Answer 2

Я считаю, что регистрация активности приложения и сведений об ошибках / исключениях является наиболее полезной стратегией для передачи технических деталей о проблемах на стороне клиента. Вы можете добавить функцию для автоматической отправки журналов по почте или позволить клиенту сделать это вручную.

Вопрос в том, что именно вы хотите проверить? Вас интересует только безошибочная работа или вы также обеспокоены тем, как программное обеспечение принимается на стороне клиента (удобство использования)?

В случае технических ошибок запишите журнал и вручную протестируйте его в различных сценариях в разных установках ОС. Если бы вы могли добавить модульные тесты, это также могло бы помочь. Но я предполагаю, что проблема в том, что он работает на вашей машине, но не работает где-то еще.

Вы также можете удаленно отлаживать, используя такие функции IDE, как «Присоединить к удаленному процессу» и т. Д. Я не уверен, как это сделать, если вы не в том же офисе, скорее всего, вам нужно построить VPN.

Если речь идет об удобстве использования, организуйте семинары. Новые люди будут работать с вашим приложением, а вы будете записывать видео и аудио их. Затем проанализируйте проблемы, с которыми они столкнулись в групповых «послеполетных» сессиях. Поговорите с пользователями, спросите, что им не понравилось, и действуйте на них.

Теоретически, вы также можете встроить эту активность в приложение. Вам нужно иметь четкое представление о том, что регистрировать и как интерпретировать данные.