автоматизация тестирования iPhone - инструменты для тестирования? - PullRequest
5 голосов
/ 29 октября 2010

Привет Мы расширяем один из наших проектов в крупном банке, чтобы включить доступ через мобильные устройства. Мы оцениваем несколько инструментов - вкл. Perfecto Mobile, эксперимент и устройства в любом месте. Из нашей первоначальной оценки perfecto и устройства в любом месте охватывают больший набор телефонов, включая телефоны. Experitest, с другой стороны, является сильным и простым для работы со смартфонами (iPhone, Android и т. Д.). Кто-нибудь может поделиться опытом использования этих инструментов для крупномасштабных проектов? В основном мы стремимся к стабильности, способности работать с QTP и соображениям поддержки (поддержка новых устройств и т. д.).

Ответы [ 6 ]

2 голосов
/ 23 июня 2011

Я широко использовал DeviceAnywhere. Perfecto, не так уж много, после довольно разочаровывающего пробного периода. DA имеет поддержку / надстройки для QTP и QC. Perfecto не распространяется на QC. Perfecto не быстрее DA, поскольку большинство их устройств находятся в Израиле, а не в США. У DA есть несколько центров обработки данных в США и за рубежом, поэтому у вас больше шансов получить лучшую производительность. У DA довольно длинный список клиентов Enterprise и Carrier ... в то время как Perfecto выглядит очень маленькой компанией. Сравните качество их веб-сайтов - очевидно, какой из них выглядит более профессионально ... Вы должны попробовать их оба и принять решение ...

1 голос
/ 18 ноября 2010

Подумайте о соединении стандартного программного продукта дистанционного управления со стандартным роботом тестирования программного обеспечения (например, QTP).

В качестве альтернативы, являясь в основном независимым от устройства , но растровым решением, вы можете использовать один из множества пультов дистанционного управления, чтобы вывести содержимое дисплея мобильного телефона на рабочий стол. Затем вы «кликаете» в этом окне дистанционного управления, используя своего любимого тестового робота.

Глупо это звучит? Ну, у него есть свои сильные и слабые стороны:

Если для вас установлен QTP, вы застрянете при синхронизации растровых изображений, другие полезные свойства графического интерфейса не будут видны. Однако, если у вас есть кое-какие ноу-хау QTP, вы можете повторно использовать все ноу-хау для интеграции управления тестированием через QC, адресации тестовых данных и т. Д. Для создания сценариев «искусства», таких как «ожидание правды» , конвертировать растровые изображения в текст и так далее. Вы даже можете «в режиме реального времени» проверить результаты, отображаемые на мобильном устройстве, в корпоративном бэкэнде, или исследовать ожидаемые результаты в некоторой центральной базе данных после выполнения транзакции на мобильном устройстве - все это будет легко, поскольку ваш тестовый робот работает как часть ИТ-инфраструктуры постоянно, поэтому она имеет легкий доступ к этим ресурсам. И эти доступы могут быть сделаны со всем комфортом, к которому мы привыкли на тестовых роботах на базе ПК, например, контрольная точка базы данных QTP.

Позитивным аспектом было бы следующее: используя такой сценарий, вы в значительной степени независимы от технических деталей мобильного телефона и могли бы поддерживать множество различных устройств, просто используя разные наборы ожидаемых битовых карт. (При условии, что рабочие процессы точно такие же, что, конечно, не всегда так.)

Если вам не нужно покупать дополнительного тестового робота, это решение может быть непревзойденно дешевым. Например, большинство мобильных устройств Windows можно использовать с бесплатным дистанционным управлением Microsoft, и есть множество коммерческих поставщиков, предлагающих функции дистанционного управления для различных устройств в одном пакете.

Кроме того, вы можете разрабатывать тестовые сценарии с использованием эмуляторов, эмулирующих мобильное устройство, поскольку тестовый робот не будет знать разницу между дисплеем, полученным из реального объекта, или показанным эмулятором.

Я сделал все это с помощью различных пультов дистанционного управления и КПК / смартфонов, используя CitraTest или QTP в качестве тестового робота. Я был очень счастлив, что мне не пришлось возиться с еще одним специализированным инструментом, или даже с более чем одним из них, каждый со своим языком или методологией.

Самыми большими препятствиями, кроме уже упомянутых, были:

  • найти универсальный, быстрый и надежный пульт дистанционного управления
  • найти способ позволить мобильному устройству использовать свой «нормальный» канал связи (например, сотовую связь) для всех приложений, в то время как по соображениям производительности (и для минимизации побочных эффектов) пульт дистанционного управления подключен через прямое соединение ( USB, специальный кабель синхронизации, сеть ... все, что поддерживает мобильный телефон).
  • создать «стандартный» сценарий, который будет достаточно точным, чтобы синхронизировать выполнение тестового робота и мобильного приложения, избегая слишком частого повторного захвата ожидаемого растрового изображения для всех поддерживаемых устройств (это может быть частично автоматизировано)
  • проблемы с синхронизацией - когда вы находитесь на уровне растрового изображения, трудно сказать, достаточно ли вы ожидали, чтобы какое-то сообщение появилось, исчезло или что-то еще.
  • Экзотическая обложка типа «приложение продолжается только после того, как вы сделали фотографию с помощью мобильной камеры». Вообще говоря: контролировать встроенную периферию (какое противоречие ...) мобильного телефона (в моем случае мне пришлось заставить сканер штрих-кода «видеть» конкретные изображения - довольно сложно и обычно очень зависит от устройства для автоматизации)

Тем не менее, это выполнимо, и такое решение может быть очень стабильным и надежным, с достаточной степенью экономической эффективности с точки зрения усилий по обслуживанию тестов (конечно, в зависимости от того, как часто меняется приложение в тесте) ).

1 голос
/ 03 ноября 2010

Я использовал все 3 платформы много раз

Только Perfecto Mobile и DA достаточно надежны для настоящих тестировщиков (по крайней мере, для уровня предприятия).

DA имеет больше устройств, но Perfecto на 100% веб-интерфейс, быстрее и НАМНОГО дешевле. Оба предлагают среды автоматизации со своими плюсами и минусами, но Perfecto предлагает интеграцию QTP и улучшенные решения безопасности

Вывод - обе системы хороши, Perfecto дешевле, Perfecto гораздо лучше для предприятий, занимающихся мобильным тестированием.

Guido

0 голосов
/ 05 июля 2011

Если вы тестируете банковское приложение, вы должны рассмотреть вопрос безопасности.Как вы защищаете свое приложение и данные приложения.Как только вы отпустите телефон, кто-то другой сможет получить контроль над ним.Я рекомендую использовать локальные возможности, которые, как я считаю, есть у всех вышеперечисленных решений.

0 голосов
/ 31 октября 2010

Насколько мне известно, Perfecto Mobile внесла некоторые существенные улучшения в свое предложение и в настоящее время предлагает некоторые значительные преимущества по сравнению с другими, включая цену. В последние несколько месяцев они добавили популярные устройства, такие как Lenovo nePaone. Вы можете увидеть полный список их сайта: www.perfectomobile.com. Поскольку они используют технологию управления, отличную от Device Anywhere, они способны действительно быстро поддерживать новые устройства. Что касается стабильности и QTP, они также имеют много преимуществ по сравнению с другими. Например, инструменты для записи ваших собственных пользовательских сценариев и их многократного тестирования на разных устройствах - это отличный инструмент автоматизации для крупномасштабных проектов.

0 голосов
/ 29 октября 2010

jQuery автоматически запускает множество тестов как на обычных телефонах, так и на смартфонах, возможно, вы можете использовать их тестовую системуВ качестве примечания, проверьте, подходит ли вам jQuery mobile , это очень круто.

...