Попарное тестирование: как создать таблицу?

Question

Здравствуйте, у меня есть сомнения относительно того, как создать таблицу для попарного тестирования. Например, если у меня есть три параметра, каждый из которых может принимать два разных значения. Как мне создать таблицу ввода со всеми возможными комбинациями тогда? Будет ли это выглядеть примерно так?

    | 1 2 3
 -----------
  1 | 1 1 1
  2 | 1 2 2
  3 | 1 1 2
  4 | 1 2 1

Соответствует ли каждый параметр каждому столбцу? Однако, поскольку у меня есть 3 параметра, каждый из которых может принимать 2 разных значения. Количество тестовых случаев должно быть 2^3 не так ли?

Answer 1

Здесь есть хорошая статья со ссылками на некоторые полезные инструменты:

http://blog.josephwilk.net/ruby/pairwise-testing-with-cucumber.html

Answer 2

1) Обращаем ваше внимание, что попарное тестирование не сводится к полному сканированию всех возможных комбинаций значений всех параметров.Во-первых, такое сканирование дало бы вам огромное количество тестовых примеров, которые почти ни одна из существующих систем не могла бы выполнить все из них.Во-вторых, парное тестирование для программной системы основано на надежде, что два параметра, имеющие наибольшее число возможных значений, являются виновниками самого высокого процента отказов в этой системе.

Это, конечно, тольконадежда и почти никаких строгих научных исследований не существует до сих пор, чтобы доказать это.

2) То, что я часто вижу в документах, обсуждающих парное тестирование, как это , это то, что список всехвозможные значения (так называемая таблица парных тестов) не продуманы до конца.Это создает путаницу.

В вашем случае все параметры имеют одинаковое количество возможных значений (2 значения), поэтому вы можете выбрать любые два параметра из этих трех для построения таблицы.На что можно обратить внимание, так это на порядок комбинации: сначала итерируется верхний правый параметр, затем следующий параметр слева и т. Д. ...

Скажем, если у вас есть два параметра p1 иp2, p1 имеет два возможных значения apple и orange;и у p2 есть два возможных значения красный и синий, тогда ваша таблица парных тестов будет:

index| p1     p2
------------------
   1 | apple  red
   2 | apple  blue
   3 | orange red
   4 | orange blue

Answer 3

Для параметров: каждый столбец является параметром, а каждая строка - возможной комбинацией. Вот таблица:

    | 1 2 3
 -----------
  1 | 1 1 1
  2 | 2 1 1
  3 | 1 2 1
  4 | 1 1 2
  5 | 2 2 1
  6 | 2 1 2
  7 | 1 2 2
  8 | 2 2 2

поэтому 2 ^ 3 = 8 возможных комбинаций, которые вы видите:)

Для значений: каждый столбец является значением, а каждая строка - возможной комбинацией:

    | 1 2
 --------
  1 | 1 1
  2 | 2 1
  3 | 1 2
  4 | 2 2

Это 2 ^ 2 = 4 возможных комбинации. Надеюсь, это поможет.