Артиллерия: загрузить JSON документ из файла CSV

Question

Моя лямбда-функция, которую я хочу протестировать, ожидает комплекс json, и, согласно моему пониманию, json необходимо go в файл csv. Моя проблема в том, что я пробовал разные способы загрузить json из csv, но продолжаю получать ошибки. Я не уверен, возможно ли это даже в артиллерии. Мой пример csv выглядит следующим образом.

post-data.csv

column1 {"profile": {"name": "irfan", "email": " irfan@email.com "}," address ": [" address1 "," address2 "]} {" profile ": {" name ":" Tomas "," email ":" tomas@email.com "}," address ": [ "address1", "address2"]} {"profile": {"name": "Joel", "email": "joel@email.com"}, "address": ["address1", "address2"]}

У меня есть только один столбец, потому что все, что мне нужно, - это json документ, который будет передан в качестве тела запроса в мой привет-лямбда, чтобы я мог загрузить его для тестирования.

Вот содержимое моей артиллерии файл сценария.

config:
  target: "https://api-gateway-load-testing-tst-ap-southeast-2.xxxxxxxxxxx.com"
  phases:
    - 
      duration: 5
      arrivalRate: 1
  defaults:
    headers:
      x-api-key: "xxxxxxxxxxxxxxxxxxxxxxxxxxx"
      Content-Type: "application/json"
  payload:
    # path is relative to the location of the test script
    path: "post-data.csv"
    fields:
      - "column1"
    order: sequence
    delimiter: "~"
    skipHeader: true
    cast: false
  plugins:
    cloudwatch:
      namespace: "serverless-artillery-loadtest"
scenarios:
  - flow:
      - post:
          url: "/v1/hello-world"
          json:
            data: {{ column1 }}

Когда я помещаю двойные кавычки вокруг ключей и значений в json, я получаю сообщение об ошибке «Ошибка выполнения задачи: возникла ошибка ERROR при выполнении загрузки из 1579692773908 в 1579692773908: Артиллерия закрыта с не -зеро код: "

Есть ли способ загрузить json из csv таким образом, чтобы моя лямбда-функция hello world получила тело запроса в виде json в следующем формате:

{"data": {"profile": {"name": "i rfan "," email ":" irfan@email.com "}," address ": [" address1 "," address2 "]}}

Любая помощь приветствуется.

Answer 1

Мне удалось обойти эту проблему самостоятельно, написав пользовательский JavaScript для загрузки json полезных данных вместо файла CSV. Я использовал config.processor вместе с ловушкой beforeScenario, чтобы определить мой собственный лог c.

. Для тех, кто может столкнуться с подобной проблемой, вот мое решение:

скрипт .yml

config:
  target: "https://api-ap-southeast-2.aws.my-domain.com"
  processor: "./post-body.js"
  # Following phases test a scenario where 0 tps ramps up to 50 tps in 1 minutes, and then ramps up to 1000 tps every 30 seconds in 50 tps increment

  phases:
    - 
      duration: 60
      arrivalRate: 10
      rampTo: 50
    -
      duration: 30
      arrivalRate: 50
    -
      duration: 30
      arrivalRate: 100
    -
      duration: 30
      arrivalRate: 150
    -
      duration: 30
      arrivalRate: 200
    -
      duration: 30
      arrivalRate: 250
    -
      duration: 30
      arrivalRate: 300
    -
      duration: 30
      arrivalRate: 350
    -
      duration: 30
      arrivalRate: 400
    -
      duration: 30
      arrivalRate: 450
    -
      duration: 30
      arrivalRate: 500
    -
      duration: 30
      arrivalRate: 550
    -
      duration: 30
      arrivalRate: 600
    -
      duration: 30
      arrivalRate: 650
    -
      duration: 30
      arrivalRate: 700
    -
      duration: 30
      arrivalRate: 750
    -
      duration: 30
      arrivalRate: 800
    -
      duration: 30
      arrivalRate: 850
    -
      duration: 30
      arrivalRate: 900
    -
      duration: 30
      arrivalRate: 950
    -
      duration: 270
      arrivalRate: 1000
  defaults:
    headers:
      x-api-key: "fake-x-api-key"
      Content-Type: "application/json"
  plugins:
    cloudwatch:
      namespace: "my-service-name"
    influxdb:
      testName: "my-service Load Test Results"
      influx:
        host: "fake-ip-address"
        username: "fake-username"
        password: "fake-password"
        database: "influx"

scenarios:
  - name: my-service-name load test with varying load
    beforeScenario: generatePostBody
    flow:
      - post:
          url: "/my-fake-endpoint"
          json:
            "{{ data }}"

После пост-тела. js содержит мой пользовательский JS logi c. Я ввел новый текстовый файл post-data.txt, который по сути заменяет CSV-файл, который я упоминал в этом вопросе, для размещения тысяч строк, где каждая строка представляет собой полезную нагрузку запроса как json. Каждый раз, когда выполняется сценарий, выбирается случайная строка полезной нагрузки json, преобразуется в объект json и отправляется как часть запроса POST. Я также использую CloudWatch и InfluxDB для вывода результатов.

post-body. js

const fs = require("fs");
const filePath = "./post-data.txt";
let postData;

/**
 * Generates post body
 */
const generatePostBody = async (userContext, events, done) => {
  try{
    // add variables to virtual user's context:
    if(postData === undefined || postData === null || postData.length === 0) {
      postData = await loadDataFromTxt(filePath);
    }
    const postBodyStr = postData[Math.floor(Math.random()*postData.length)];
    userContext.vars.data = JSON.parse(postBodyStr);

    // continue with executing the scenario:
    return done();

  } catch(err) {
    console.log(`Error occurred in function generatePostBody. Detail: ${err}`);
    throw(err);
  }
}

/**
 * Loads post body from csv file
 * @param {object} filePath - The path of csv file
 */
const loadDataFromCsv = async filePath => {
  const data = [];

  return new Promise((resolve, reject) => {
    fs.createReadStream(filePath)
      .pipe(csv({delimiter: '||'}))
      .on("data", data => data.push(data))
      .on("end", () => {
        return resolve(data);
      })
      .on("error", error => {
        return reject(error);
      });
  });
};

/**
 * Loads post body from text file
 * @param {object} filePath - The path of text file
 */
const loadDataFromTxt = async (path) => {
  return new Promise((resolve, reject) => {
    fs.readFile(path, 'utf8', function (err, data) {
      if (err) {
        reject(err);
      }
      resolve(data.toString().split("\n"));
    });
  });
}

// Load data from txt file once at the start of the execution
// and save the results in a global variable
(async () => {
  try {
  postData = await loadDataFromTxt(filePath);
  //console.log(JSON.parse(postData[0]));
  } catch (error) {
    console.log(`Error occurred in main. Detail: ${err}`);
  }
})();

module.exports.generatePostBody = generatePostBody; 

post-data.txt

{ "profile":{"name":"irfan","email":"irfan@email.com"},"address":["address1","address2"]}
{ "profile":{"name":"Tomas","email":"tomas@email.com"},"address":["address1","address2"]}
{ "profile":{"name":"Joel","email":"joel@email.com"},"address":["address1","address2"]}

HTH