Сборка TeamCity завершается успешно, хотя мой тест Jmeter не прошел проверку ответа

Question

У меня есть несколько тестов API, написанных на Jmeter, и я запускаю их с помощью нашего инструмента CI, который называется TeamCity. Проблема в том, что TeamCity всегда показывает сборку как Succeeded, хотя в своем отчете Jmeter я вижу, что некоторые утверждения из теста не выполняются. Я хочу, чтобы TeamCity в этом случае показывал сборку как Failed, соответственно.

Конфигурация TeamCity использует командную строку в качестве шага сборки, которая запускает следующую команду:

jmeter -n -t jMeterTeamCityExample.jmx -l log\api_tests_log.jmx -e -o api-tests-results

Вот пример файла .jmx, который я создал для тестирования:

<?xml version="1.0" encoding="UTF-8"?>
<jmeterTestPlan version="1.2" properties="3.2" jmeter="3.3 r1808647">
  <hashTree>
    <TestPlan guiclass="TestPlanGui" testclass="TestPlan" testname="jMeter + TeamCity example" enabled="true">
      <stringProp name="TestPlan.comments"></stringProp>
      <boolProp name="TestPlan.functional_mode">false</boolProp>
      <boolProp name="TestPlan.serialize_threadgroups">false</boolProp>
      <elementProp name="TestPlan.user_defined_variables" elementType="Arguments" guiclass="ArgumentsPanel" testclass="Arguments" testname="User Defined Variables" enabled="true">
        <collectionProp name="Arguments.arguments"/>
      </elementProp>
      <stringProp name="TestPlan.user_define_classpath"></stringProp>
    </TestPlan>
    <hashTree>
      <ThreadGroup guiclass="ThreadGroupGui" testclass="ThreadGroup" testname="Thread Group" enabled="true">
        <stringProp name="ThreadGroup.on_sample_error">stopthread</stringProp>
        <elementProp name="ThreadGroup.main_controller" elementType="LoopController" guiclass="LoopControlPanel" testclass="LoopController" testname="Loop Controller" enabled="true">
          <boolProp name="LoopController.continue_forever">false</boolProp>
          <stringProp name="LoopController.loops">1</stringProp>
        </elementProp>
        <stringProp name="ThreadGroup.num_threads">1</stringProp>
        <stringProp name="ThreadGroup.ramp_time">1</stringProp>
        <longProp name="ThreadGroup.start_time">1530777613000</longProp>
        <longProp name="ThreadGroup.end_time">1530777613000</longProp>
        <boolProp name="ThreadGroup.scheduler">false</boolProp>
        <stringProp name="ThreadGroup.duration"></stringProp>
        <stringProp name="ThreadGroup.delay"></stringProp>
      </ThreadGroup>
      <hashTree>
        <HTTPSamplerProxy guiclass="HttpTestSampleGui" testclass="HTTPSamplerProxy" testname="GET post" enabled="true">
          <elementProp name="HTTPsampler.Arguments" elementType="Arguments" guiclass="HTTPArgumentsPanel" testclass="Arguments" testname="User Defined Variables" enabled="true">
            <collectionProp name="Arguments.arguments"/>
          </elementProp>
          <stringProp name="HTTPSampler.domain">jsonplaceholder.typicode.com</stringProp>
          <stringProp name="HTTPSampler.port"></stringProp>
          <stringProp name="HTTPSampler.protocol"></stringProp>
          <stringProp name="HTTPSampler.contentEncoding"></stringProp>
          <stringProp name="HTTPSampler.path">posts/1</stringProp>
          <stringProp name="HTTPSampler.method">GET</stringProp>
          <boolProp name="HTTPSampler.follow_redirects">true</boolProp>
          <boolProp name="HTTPSampler.auto_redirects">false</boolProp>
          <boolProp name="HTTPSampler.use_keepalive">true</boolProp>
          <boolProp name="HTTPSampler.DO_MULTIPART_POST">false</boolProp>
          <stringProp name="HTTPSampler.embedded_url_re"></stringProp>
          <stringProp name="HTTPSampler.connect_timeout"></stringProp>
          <stringProp name="HTTPSampler.response_timeout"></stringProp>
        </HTTPSamplerProxy>
        <hashTree>
          <ResponseAssertion guiclass="AssertionGui" testclass="ResponseAssertion" testname="Response Assertion" enabled="true">
            <collectionProp name="Asserion.test_strings">
              <stringProp name="51508">400</stringProp>
            </collectionProp>
            <stringProp name="Assertion.test_field">Assertion.response_code</stringProp>
            <boolProp name="Assertion.assume_success">false</boolProp>
            <intProp name="Assertion.test_type">8</intProp>
          </ResponseAssertion>
          <hashTree/>
        </hashTree>
      </hashTree>
    </hashTree>
    <WorkBench guiclass="WorkBenchGui" testclass="WorkBench" testname="WorkBench" enabled="true">
      <boolProp name="WorkBench.save">true</boolProp>
    </WorkBench>
    <hashTree/>
  </hashTree>
</jmeterTestPlan>

В файле я добавил недопустимый код ответа (400) в подтверждение ответа по назначению, чтобы вызвать сбой теста.

Заключение и вопрос: Когда я запускаю этот тест через TeamCity с помощью команды, представленной выше, TeamCity показывает Успех, хотя сам тест не проходит при подтверждении ответа. Я хочу, чтобы показы TeamCity не сработали, если не получилось подтверждение ответа из плана тестирования Jmeter. У кого-нибудь есть идеи?

ПРИМЕЧАНИЕ. Я знаю о некоторых плагинах Jmeter для TeamCity, но я бы хотел найти решение, используя только шаг сборки CommandLine.

Answer 1

Я нашел не очень элегантное решение.

1. Добавить шаг сборки, чтобы выгрузить файл jtl в журнал сборки команды команды:

Я создал шаг построения командной строки с помощью этой командной строки в Windows: powershell -nologo "& "Get-Content <location of your .jtl file> -Tail 100"

На Linux вы бы сделали: cat <location of your .jtl file>

2. Я добавил условие сбоя сборки, чтобы найти этот текст в журнале сборки. "текст ложный"

Вот раздел журнала сборки, в котором показано мое неверное утверждение счетчика внутри журнала сборки:

[18:00:31]Step 5/5: check file for failed assertions (Command Line)
[18:00:31][Step 5/5] Starting: C:\BuildAgent\temp\agentTmp\custom_script6595741193421826142.cmd
[18:00:31][Step 5/5] in directory: C:\apache-jmeter-5.1.1\JmeterREsults\Assertionfailureexample\106
[18:00:31][Step 5/5] 1562598029549  58  HTTP Request API missioncontrol May2019 200 OK  Thread Group 1-1    text    false   Value expected to match regexp '114.13295998454568', but it did not match: '[112.13295998454568,113.30262810285055,82.08123404643247]'  16425   741 1   1   https://xxxxx-api.yyyyy
.com/api/page_mission_control/  58  0   0
[18:00:31][Step 5/5] Process exited with code 0