Jmeter удаление повторяющихся строк из CSV-файла

Question

В jmeter, используя http запросы, я публикую несколько json-пакетов, а из ответов я использую постпроцессор jsr223 для извлечения данных и их хранения в файлах csv, каждая запись в каждой строке. Теперь для 10 почтовых запросов я получаю дубликаты данных в CSV-файл. Есть ли способ прочитать обратно CSV-файлы и удалить дубликаты строк с помощью jmeter. Количество строк в CSV-файлах может быть почти 200 000.

Например: CSV-файл будет как csvFile1.csv: строка 1 line2 duplicateline ........... так далее

Answer 1

1. Вы можете прочитать файл в ArrayList как

   new File('/path/to/file').readLines()
   

2. Вы можете удалить повторяющиеся записи, используя функцию unique () как

   def lines = file.readLines().unique()
   

3. Вы можете записать уникальные строки обратно, используя Writer

Собираем все вместе:

def file = new File('/path/to/file')
def lines = file.readLines().unique()
file.withWriter { writer ->
    lines.each {line ->
        writer.writeLine(line)
    }
}

Демо-версия:

На всякий случай: Шпаргалка шаблонов Groovy для JMeter