Основная тестовая среда - обычная ОС или будущая ОС?

Question

Моя компания собирается приобрести инструмент автоматического тестирования. Мы не большая компания, и можем позволить себе только одну лицензию на инструмент. У нас возник внутренний спор о том, должна ли тестируемая ОС быть наиболее часто используемой нашими клиентами (XP) или ОС следующего поколения (Windows 7). Все возможные ОС будут протестированы в любом случае, но в гораздо меньших масштабах.

Большая часть нашей разработки выполняется с помощью PowerBuilder, и все машины разработки работают под управлением XP. Поэтому мы не используем никаких новых функций, предлагаемых Vista или 7. Это означает, что если наше программное обеспечение работает на 7, оно не должно иметь проблем с запуском на XP. Обратный путь - это другая история, и поэтому он должен быть проверен должным образом. OTOH, имеет смысл, что основной тестовой средой является основная производственная среда.

Учитывая такие ограниченные ресурсы, на какую ОС вы бы сфокусировали свои тесты?

Answer 1

Определенно основное окружение.

Зачем тратить время на тестирование на Windows 7, если ваша основная пользовательская база - XP. Да, после того, как вы проверили на XP, вам обязательно нужно протестировать и на Vista, и на 7, но если у вас есть только ресурсы для автоматизации тестирования на одном, вам следует сосредоточиться на основной платформе.

Answer 2

Не следует полагать, что, поскольку ваше приложение отлично работает на Windows 7, оно будет работать на XP. Существует бесконечное количество возможных изменений между двумя версиями ОС. В идеале вам следует тестировать на каждой поддерживаемой ОС, это может быть невозможно, но главное - гарантировать, что она работает на вашей основной цели.

Answer 3

Пришло время стереть старую историю о PowerBuilder 1 и бета-версии Windows. Помните: меня там не было, это устная история, и я настолько взрослый, что моя память начинает приукрашивать мои собственные истории, не говоря уже о чужих.

Пауэрсофт получил этот главный маркетинговый балл. Они сотрудничали с Microsoft, чтобы выпустить свой новый продукт PowerBuilder в тот же день, что и новый выпуск Windows (3.0). Microsoft пыталась доказать, что эта платформа, которую они создали, подходит для пользовательских бизнес-приложений, а не только для графических программ и Minesweeper. Таким образом, Powersoft получил последнюю версию кандидата от Microsoft, и они полностью выиграли PowerBuilder. Они были довольны. В день запуска деловые люди выходили из компьютерного магазина с копией Windows под одной рукой и PowerBuilder под другой. Затем начали поступать звонки. PowerBuilder был серьезно сломан, и это было до боли очевидно. Microsoft изменила что-то (предположительно с целью исправления ошибки) между кандидатом на релиз и версией общедоступной версии, которая поставила PowerBuilder на колени. Пауэрсофт быстро отреагировал исправлением, но в течение очень многих дней после этого было много красных лиц.

Мораль этой истории: тестирование на бета-версии практически ничего не значит. Если вы не планируете планы на период после 22 октября, вы не должны планировать делать что-то большее, чем краткие тесты в Windows 7, потому что вам нужно будет снова провести тестирование all , когда real Windows 7 поставляется.

Удачи,

Терри.

Answer 4

Проверьте, что вы поддерживаете. после этого протестируйте то, что вам потребуется для поддержки в ближайшем будущем, и, наконец, позвольте разработчикам протестировать «передовую» / beta / rtm / alpha OS.

Например, если вы поддерживаете XP, то это основная ОС для тестирования, если все сделано правильно, ресурсы для тестирования этой ОС должны быть минимальными; если ваш следующий выпуск поддерживает Vista, то включите Vista в цикл тестирования и сделать это приоритетом.

Если вам требуется поддержка Windows 7, то пусть разработчики сначала запустят ее, в любом случае, возможно, потребуется некоторое «кодирование» и, возможно, будет нарушено автоматическое тестирование; Как только он достигнет приемлемого уровня качества, включите его в цикл тестирования.

Answer 5

На риск звучащего бойка, проверьте оба. Потерпи меня.

Начните с автоматизированного процесса сборки, который может выполнить чистую сборку вашего программного обеспечения из системы контроля версий (у вас есть система контроля версий, верно?). Добавить автоматизированные тесты. Это включает в себя все: от низкоуровневых модульных тестов до интеграционных тестов и автоматических функциональных тестов с использованием чего-то вроде TestComplete или SmarteScript . Теперь, поскольку теперь вы можете тестировать весь свой продукт (или, по крайней мере, ключевые элементы) без какого-либо участия человека, вы можете запускать эти тесты так часто, как вам нравится.

Создание чистой виртуальной машины для представления типичного клиентского ПК. Ваша коробка разработки, вероятно, не является хорошим примером этого. Как часть вашего автоматизированного процесса сборки, вы можете создать сценарий для виртуальной машины (по крайней мере, VMWare и VPC) для запуска с известного хорошего снимка, установить последнюю сборку программного обеспечения, запустить автоматизированные тесты и опубликовать результаты.

Это была сложная часть. Теперь просто создайте новую виртуальную машину с любой комбинацией операционных систем / пакетов обновления / памяти / и т. Д. И повторите автоматические тесты для каждой из них.

Звучит так, будто вы добавляете очень много процесса. Что вы на самом деле делаете, так это берете все вещи, которые можно (и, следовательно, должны) автоматизировать, оставляя вам больше времени для более интересного (как продать его себе) и прибыльного (как продать его своему босс) вещи.

В противном случае просто протестируйте ОС, которую использует большинство ваших клиентов, и включите заявление об отказе.

Answer 6

Релизы Windows обычно нестабильны до первой пары пакетов обновлений. Переход на сейчас означает, что вы не просто тестируете свое программное обеспечение, но вы также тестируете на непроверенной системе. Если есть ошибка, как вы узнаете, ваша программа или новая ОС?

Ваши клиенты будут использовать XP в течение некоторого времени (благодаря Vista она все еще популярна). Иди с тем, что ты знаешь.

Кроме того, вы, вероятно, экономите 1-2 гигабайта оперативной памяти, которая может быть лучше использована для вашего компилятора и инструментов, чем на конфетах в окнах и обычном раздутии.