Стратегии тестирования качества для аналитических панелей

Question

Моя команда создает аналитическую информационную панель для SaaS / мультитенантного приложения с использованием Cognos. Проблема, с которой я сталкиваюсь, - это правильная стратегия тестирования.

Прямо сейчас тестирование одного отчета с фильтрами даты начала и окончания (в формате месяц / год), одномерным фильтром и двумя элементами управления для выбора меры (есть 7 показателей, которые могут быть представлены как суммы или отдельные числа) .

Кроме того, пользователи могут просматривать точки в результирующем отчете до подробных данных транзакций.

Также подразумевается, что в отчетах по одному арендатору не отображаются данные по другому арендатору.

Итак, вот проблема. Тестирование этого простого отчета занимает две недели, включая сотни тестов для огромного набора комбинаций фильтров и мер. Мне кажется, это излишнее излишество.

Существует ли «стратегия», которую можно использовать для надежного сокращения пространства поиска и предотвращения чрезмерно повторяющегося тестирования?

Answer 1

Звучит так, будто они пытаются протестировать «каждую возможную комбинацию», в которой может использоваться отчет. Возможно, целесообразно сделать это для нескольких избранных отчетов, которые лучше всего представляют типичные или критические отчеты. Это поможет устранить серьезные недостатки в дизайне, архитектуре или реализации.

Но попытка проверить каждую возможную комбинацию для каждого отчета в надежде найти каждую ошибку невозможна. Предложение Ajdams имеет смысл и типично для требуемых «компромиссов». Все дело во времени, ресурсах и в том, что имеет наибольшее значение для ситуации.

Так что я бы предложил гибрид из двух (выберите небольшую горстку отчетов, для которых необходимо провести обширное тестирование, но убедитесь, что они сфокусированы на поиске ошибок, которые могут быть распространены в других отчетах). Затем протестируйте каждый отдельный отчет, используя такую ​​технику, как айдамы.

Answer 2

Хороший вопрос! Когда мы обычно публикуем (или хотим) новые отчеты, основанные на Таблице, которые попадают в наш куб SSAS, мы обычно просим определенную группу людей выступать в качестве группы суперпользователей, чтобы использовать отчет, как если бы он был в производстве. Хотя на это может не потребоваться определенный период времени, скажем, у вас есть только 2 дня для его тестирования, но это будет продолжаться в течение нескольких недель. Тем временем исправления ошибок или изменения могут быть внесены и распространены в этой же группе без необходимости останавливать тестировщиков, заставлять их ждать исправления, а затем продолжать.

Не поймите меня неправильно, хотя дата запуска крайнего срока по-прежнему идеальна, но частая публикация отчета в небольшой группе часто помогает быстрее продвигаться вперед, чем при тестировании каждого параметра.

Answer 3

Что действительно поможет вашему тестированию догнать скорость и надежность, так это на самом деле подготовить сценарии тестов, которые включают в себя необходимые функции отчетов. Как и предлагалось ранее, бета-группа пользователей поможет вам выявить ошибки и недостатки дизайна во время бета-тестирования.