Найти тесты, которые не были выполнены как часть списка заданных тегов

Question

Я ищу способ в огурце JS, чтобы сообщить, какие тесты не были выполнены в рамках заданного c запуска.

Пример: если бы мои теги были ['@E2E', '~@higherEnvOnly'], я бы хотел отчет о том, какие тесты были исключены из-за тега ~@higherEnvOnly.

Мне удалось получить список всех функций и сценариев ios для каждой функции вместе с тегами и именами. Мне интересно, есть ли отчет, который дал бы мне исключенные тесты.

Чтобы дать больше перспективы, причина в том, что один и тот же набор тестов НЕ может выполняться каждый раз, как список функций Быть включенным (или исключенным) определяется динамически в зависимости от конфигурации приложения (укажите c для каждой среды, в которой мы запускаем тесты). Поэтому для нас важно выяснить, какие тесты были проведены, а какие были исключены для каждой среды.

Answer 1

Мне удалось обойти эту проблему, не передавая теги для исключения в свойство specs, а используя хук Before, чтобы проверить, соответствует ли текущий тег сценария исключенному тегу. Пример:

В моей конфигурации:

base.config.cucumberOpts.specs = ['@E2E'];

В hooks.ts:

var excludedTag = '@tagToExclude';
Before((scenario) => {
  var excludeScenario = false;
  scenario.pickle.tags.forEach(currTag => {
    if (currTag.name === excludedTag) {
      excludeScenario = true;
      break;
    }
  }
  return excludeScenario ? 'skipped' : '';
});

Это гарантирует, что в отчете будет действительно @tagToExclude как skipped.

Answer 2

в моем случае я использовал protractor-beautiful-reporter, он сообщает обо всех сбоях в случае и выходит сообщение (причина).