Подход автоматизации тестирования - что лучше?

Question

Какой подход автоматизации подходит лучше всего? это тестирование на основе данных или тестирование на основе ключевых слов? Теперь даже у нас есть тестирование бизнес-процессов, какой, по вашему мнению, лучший подход?

Answer 1

Все зависит от ваших потребностей. В качестве долгосрочных инвестиций я рекомендую основанную на ключевых словах или гибридную структуру ключевых слов / данных.

См. Мой краткий обзор ниже (взято со страницы моего блога http://automation -beyond.com / категория / автоматизация / методология автоматизации / практики / ).

Практика автоматизации внешнего тестирования - запись / воспроизведение

1. Описание • жестко закодированные данные • жестко закодированный поток • Нет обработки ошибок • Нет или ограниченная отчетность • Нет структуры • Нет проверки • Без проверки

2. Преимущества • Легко создавать • Быстро создать • Программирование не требуется

3. Недостатки • Очень низкое удобство использования • Чрезвычайно высокая стоимость обслуживания • Результаты испытаний без доказательств • Перерыв на любой сбой • Плохое покрытие тестового потока • Много ручной работы все еще требуется

4. Применимость • Демо и продажа презентаций • Тестирование в тот же день (перезапись с нуля, короткий тестовый поток) • Исследовательское тестирование (исследование того, как Инструмент тестирования обрабатывает Приложение) • Автоматический ввод данных (применяются ограничения)

Практика автоматизации внешнего тестирования - улучшена запись / воспроизведение

1. Описание • параметризованные данные • Набор данных является частью скрипта, но не в коде • Проверка через контрольные точки GUI (жестко) • жестко закодированный поток • Нет обработки ошибок • Нет или ограниченная отчетность • Без структуры

2. Преимущества • Легко создавать • Быстро создать • Программирование не требуется, но знание инструмента тестирования обязательно

3. Недостатки • Уязвимые сценарии • Нет поддержки нескольких сред • Очень высокая стоимость обслуживания контрольно-пропускных пунктов • Не воспроизводимые результаты испытаний • Перерыв на любой сбой • Ограниченное покрытие тестового потока • Весь анализ и проверка выполняются вручную

4. Применимость • Одиночная / стабильная среда • Испытания на короткое течение • Ограниченный набор контрольных точек, так как любое изменение базы данных / ввода данных нарушает проверку и требует повторного захвата • Краткосрочные упрощенные цели автоматизации

Практика автоматизации интерфейсных испытаний - Управляемая данными платформа

1. Описание • Программно создан • Параметризованный, способный импортировать электронные таблицы • Контрольные точки GUI / базы данных, жестко запрограммированные и / или параметризованные • Библиотечная структура • Возможно обработка ошибок • Жестко закодированный, но управляемый данными поток (вход и логика) • Стандартная отчетность • Проверка ограничена возможностями инструмента тестирования • Без проверки

2. Преимущества • Хорошее удобство использования и повторное использование • Хорошее покрытие потока испытаний • Поддержка нескольких сред • Данные и код являются отдельными • Воспроизводимые результаты испытаний

3. Недостатки • Качество и охват сильно зависят от навыков автоматизации человека • Непрерывные проблемы обслуживания из-за большого количества кода • Выход при сбое • Требуется ручная проверка

4. Применимость • Хорошо подходит для тестирования одного приложения, включает в себя несколько сред, большие наборы данных и редко меняющиеся тестовые случаи. • Пакетный запуск с дополнительными усилиями по разработке • Ограниченный набор контрольных точек, так как любое изменение базы данных / ввода данных нарушает проверку и требует повторного захвата • Требуется общий доступ к рабочему пространству группы (среда, данные и т. Д.) (Возможные проблемы с оффшорной поддержкой) • Среднесрочные цели автоматизации

Практика автоматизации интерфейсных тестов - платформа на основе ключевых слов

1. Описание • Чисто программно • Параметризованный, способный импортировать электронные таблицы • Контрольные точки GUI / базы данных, жестко запрограммированные и / или параметризованные • Рамочная структура • Ограниченная обработка ошибок • Поток на основе ключевых слов (логика и данные в электронной таблице) • Возможно расширенная отчетность • Проверка ограничена возможностями инструмента тестирования • Без проверки

2. Преимущества • Хорошее удобство использования и повторное использование • Компактныйкод • Разработка тестов не требует навыков программирования • Хорошее покрытие потока испытаний • Поддержка нескольких сред • Данные и код являются отдельными • Воспроизводимые результаты испытаний

3. Недостатки • Требуются начальные инвестиции для разработки и реализации Рамочной основы. • Из-за ограничения количества ключевых слов не позволяет охватывать очень сложные тестовые случаи • Для персонала требуется специальное обучение мета-языку. • Проблемы контроля версий • Выход при сбое • Требуется ручная проверка

4. Применимость • Хорошо подходит для тестирования нескольких приложений (на одной и той же платформе) с несколькими средами, большими наборами данных и большим количеством коротких и прямых тестовых случаев. • Выполнение плана тестирования / сценария тестирования (пакетный запуск) • Ограниченный набор контрольных точек, так как любое изменение базы данных / ввода данных нарушает проверку и требует повторного захвата • Лучшая поддержка распределенных команд, особенно с внедрением расширенной отчетности. • Поддержка нескольких инструментов для метаязыка • Среднесрочные и долгосрочные цели автоматизации

Практика автоматизации внешнего тестирования - гибридное ключевое слово / структура на основе данных

1. Описание • Чисто программно • Внутренняя модель данных, способная импортировать / экспортировать данные из различных источников • GUI / контрольные точки базы данных, параметризованные / с переходом • Правила проверки бизнеса • Рамочная структура; способен интегрировать внешние объекты (т.е. MSXML DOM) • Возможности обработки и восстановления исключений • Выполнение тест-кейсов (бизнес-логика вне кода) • Управляемый данными ввод и проверка • Расширенная бизнес-отчетность • Методы проверки на основе AI

2. Преимущества • Высокая практичность и возможность повторного использования • Компактная и масштабируемая архитектура • Создание плана тестирования / сценария тестирования не требует программирования или обучения на инструменте тестирования • Обширный охват тестового потока • Поддержка нескольких приложений • Данные и код являются отдельными • Воспроизводимые и проверенные результаты испытаний, удобные и переносимые протоколы испытаний. • Встроенная проверка согласованности и серьезности

3. Недостатки • Требуются начальные инвестиции для разработки и реализации Рамочной основы

4. Применимость • Комплексное функциональное тестирование для многозадачных, многоплатформенных продуктов с огромным количеством сложных тестовых случаев. • Цикл тестирования на регрессию дыма с широким охватом и валидацией • Выполнение плана тестирования / сценария тестирования (пакетный запуск) • Большой и изменяемый набор данных и случаи передачи данных • Отличная поддержка распределенных команд • Интеграция с другими инструментами тестирования • Среднесрочные и долгосрочные цели автоматизации

Answer 2

Похоже, ваш вопрос относится к QTP / BPT HP. Вот различия. QTP - это действительно «движок», который используется как BPT, так и QTP. QTP предоставляет два основных вида для работы со скриптами.

QTP: Первым является представление «Ключевое слово», которое представляет собой дерево действий и функций. Этот режим подходит для начинающих и позволяет им выбирать объекты из приложения или из хранилища объектов, а также выбирать методы, которые будут выполняться над объектами. Затем скрипт генерируется автоматически.

Вторым является представление «Эксперт», которое позволяет отображать и редактировать исходный код скриптов. Эксперт VIW предоставляет IDE для разработки сценариев. Этот вид подходит для опытных пользователей.

BPT основан на концепции создания контрольных примеров из повторно используемых бизнес-компонентов, которые, в свою очередь, создаются из ключевых слов. Этот подход, основанный на ключевых словах, упрощает процесс создания тестового набора, предоставляя графический интерфейс, который позволяет пользователю «перетаскивать» компоненты для построения теста. скрипт генерируется автоматически.

Answer 3

Это зависит от того, чего вы пытаетесь достичь в вашей конкретной ситуации. Однако универсальным является то, что автоматизация тестирования является разработкой программного обеспечения и должна рассматриваться как таковая. Используйте звуковой дизайн и методы кодирования. Похоже, вы новичок в автоматизации. Часто хорошим началом является создание теста на дым, который будет быстро выполняться для каждой новой сборки.