Gatling: выполнить проверку некоторых JSON, скрытых внутри ответа HTML - PullRequest
Новая
       30

Gatling: выполнить проверку некоторых JSON, скрытых внутри ответа HTML

0 голосов
/ 17 мая 2019

В Gatling я хотел бы проверить некоторые JSON, включенные в ответ HTML, как показано ниже: 

<!doctype html>
<html lang="fr">
  <head>
    <script>
      var documentLoaded = performance.now();
    </script>
    <link rel="stylesheet" href="/styles/main.f14d8fab5a7e.css">
    <meta charset="utf-8">
    <meta http-equiv="X-UA-Compatible" content="IE=edge">

    <link rel="icon" type="image/png" sizes="16x16" href="/favicon-16x16.png">
    <link rel="manifest" href="/manifest.json">
    <link rel="preconnect" href="https://www.gstatic.com">

    <title data-react-helmet="true">Asus Discount</title>
    <meta data-react-helmet="true" name="description" content="Asus discount”/><meta data-react-helmet="true" name="keywords" content="Asus"/>

  </head>
  <body>
  <div>Some content</div>

  <script>
      var parseStart = performance.now();
  </script>

  <script>
    window.__INITIAL_STATE__ = {some JSON}; <!-- This is what I need -->
    window.__ENV_VARIABLES__ = {some other JSON};
    window.renderTime = '76';
    window.fetchTime = '349';
  </script>
  <script type="text/javascript" charset="utf-8" src="/vendor.e33d9940372.js"></script>
  <script type="application/ld+json" src="/schema.fr.json"></script>
  </body>
</html>

Мое реальное решение (которое работает) выглядит следующим образом: 

def loadPageJsonInHTML(requestName: String, link: String): ChainBuilder ={
  exec(
    http(requestName)
      .get(link)
      .check(regex("""window[.]__INITIAL_STATE__ = ([^;]+)""").find.transform(s => parseSToProdList(s)).saveAs("prod_list")
      )
  )
  doIf("${prod_list.size()}" == 0){
    exec{session => session.markAsFailed}
  }
}

def parseSToProdList(jsonString: String): Seq[String] ={
  val jsonMap = jsonStrToMap(jsonString)
  val buffer = mutable.Buffer.empty[String]
  jsonMap("products").asInstanceOf[Map[String, Any]].foreach{f =>
    if(f._2.asInstanceOf[Map[String, Any]].keySet.exists(_ == "code"))
      buffer.append(f._2.asInstanceOf[Map[String, Any]]("code").asInstanceOf[String])
  }
  buffer.toSeq
}

def jsonStrToMap(jsonStr: String): Map[String, Any] = {
  implicit val formats = org.json4s.DefaultFormats
  parse(jsonStr).extract[Map[String, Any]]
}

Однако у этого решения есть несколько недостатков:

  1. Проверка всегда будет успешной, если найдено регулярное выражение, и ему все равно, есть ли вообще какой-либо продукт в JSON -> Я должен вручную проверить его позже;
  2. Наличие функции, извлекающей требуемые данные, сложнее поддерживать, чем если бы я мог использовать выражение Json Path, например "$ .products. *. Code", которое можно было бы сохранить в файле централизованных путей для простоты обслуживания;
  3. Это единственное место, где мне нужно использовать преобразование для проверки JSON запроса, что усложняет его чтение и понимание.

То, чего я хотел бы достичь, это что-то вроде этого: 

def loadPageJsonInHTML(requestName: String, link: String): ChainBuilder ={
  exec(
    http(requestName)
      .get(link)
      .check(jsonPath("""$.products.*.code""").findAll.saveAs("prod_list")
  )

Или 

def loadPageJsonInHTML(requestName: String, link: String): ChainBuilder ={
  exec(
    http(requestName)
      .get(link)
      .check(jsonpJsonPath("""$.products.*.code""").findAll.saveAs("prod_list")
  )

Конечно, jsonPath не работает, так как большая часть ответа - HTML. jsonpJsonPath также не работает, так как в ответе есть несколько строк Json.

Какой-нибудь хороший вклад в то, как я могу сделать это более эффективно (и хорошо), избегая при этом регулярного выражения в некотором HTML? Заранее спасибо

1 Ответ

0 голосов
/ 24 мая 2019

Итак, после некоторого копания я нашел обходной путь, используя «.transformResponse», чтобы извлечь строку до ее фактической проверки, присвоив ей значение по умолчанию, доступное для анализа в Json.Затем, чтобы убедиться, что мы действительно нашли регулярное выражение, мы удостоверимся, что это не наше значение по умолчанию: 

  def loadPageJsonInHTML(requestName: String, link: String): ChainBuilder = {
    exec(
      http(requestName)
        .get(link)
        .transformResponse{(session, response) =>
          response.copy(body = new StringResponseBody(
              (for(m <- """window[.]__INITIAL_STATE__ = ([^;]+)""".r
                           .findFirstMatchIn(response.body.string)
                  ) yield m.group(1)
              ).getOrElse("""{"error":"chain not found"}"""),
              UTF_8
            )
          )
        }
        .check(bodyString.not("""{"error":"chain not found"}"""))
        .check(jsonPath("""$.products.*.code""").findAll.saveAs("prod_list")
        )
    )
  }
...