вставка данных в файл infxdb с помощью nifi слишком медленная

Question

У меня есть конвейер данных в NiFi, который прослушивает системный журнал, обрабатывает полученные данные и извлекает атрибуты процессорами «ExtractText». Затем создает входной формат притока с помощью «ReplaceText» и, в конце, вставляет в приёмный процессор «PutInflux».Но я получаю длинную очередь перед процессором putInflux, потому что скорость вставки слишком медленная, чем производимые данные.Пожалуйста, помогите мне увеличить скорость вставки. Data PipeLine

Конфигурация процессора ReplaceText: (view_stat -> измерение, Listing_id -> тег, event_id -> значение, метка времени -> время)

Конфигурация процессора PutInflux

Answer 1

Спасибо, Маттиб, Я увеличил количество потоков в процессоре PutInfluxDB и решил проблему :)

Answer 2

Вы помещаете несколько строк в Influx одновременно (т.е. несколько строк в файле потока) или по одной строке за раз? Если последнее, попробуйте MergeContent или MergeRecord перед PutInfluxDB, чтобы получить несколько строк в файл. Тогда вам не придется оплачивать накладные расходы на передачу каждой линии по проводам, вы можете разместить их сразу.