как оптимально использовать процессор ожидания nifi

Question

В настоящее время я создаю поток, в котором я буду объединять результат ответа HTTP 10K.У меня есть пара вопросов.(см. изображение ниже, я нумерую свои вопросы в соответствии с изображением.)

1) Поскольку очередь становится слишком длинной, можно ли поставить «параллельную задачу» равной 10 для invokeHTTP?что должно вести это?# ядер на сервере?

2) wait показывает довольно большое число, это просто # байтов, которые он записывает?или это использует столько памяти?если это просто запись, тогда я могу быть в порядке ... но если это какая-то внутренняя очередь, то скоро у меня может закончиться память?имеет ли смысл уменьшать это число?увеличив «Run Schedule» от 0 до 20 секунд?

3) что именно означает «порог размера данных обратного давления», значение устанавливается равным 1 ГБ, означает ли это, если размер ff в очереди равенболее того, nifi начнет его сбрасывать?или это как-то остановит обработку вышестоящего процессора?

Answer 1

1) Да, увеличение одновременных задач в InvokeHttp, вероятно, имело бы смысл.Я бы не стал прыгать вправо до 10, но протестировал бы увеличение от 1 до 2, от 2 до 3 и т. Д., Пока не показалось, что он работает лучше.Одновременные задачи - это количество потоков, которые могут одновременно выполнять процессор, общее количество потоков для вашего экземпляра NiFi определяется в настройках контроллера в верхнем правом меню в разделе «Управляемые таймером потоки», вы должны установить управляемые таймером потоки на основе # ofПроцессоры / ядро, которые у вас есть.

2) Статистика по процессору является итоговой за последние 5 минут, поэтому «В» - это общий размер всех потоковых файлов, поступивших в процессор за последний5 минутВы можете видеть, что "Out" - почти то же самое #, что означает, что почти все файлы потока также были переданы.

3) Обратное давление останавливает работу вышестоящего процессора до тех пор, пока порог обратного давления не будет уменьшен.Порог размера данных говорит о том, что «когда общий размер всех потоковых файлов в очереди превышает 1 ГБ, прекратите выполнение вышестоящего процессора, чтобы больше не поступало в очередь, пока нисходящий процессор работает в очереди».В случае соединения с самоконтролем, я думаю, что обратное давление не остановит выполнение процессора, в противном случае он окажется в тупике, где он не сможет произвести больше данных, но также не сможет работать из очереди.,В любом случае, данные никогда не удаляются, если вы не установите срок действия файла потока в очереди.