Почему процессор Nifi PutParquet создает так много задач? - PullRequest
1 голос
/ 17 июня 2019

Процессор Nifi PutParquet с графиком запуска по таймеру 0 с, когда предыдущий процессор в остановленном состоянии показывает ~ 3000 задач за последние 5 минут.

Example of the high amount of tasks

Мы на Nifi 1.9.2.

Я ожидаю, что этот процессор создает задачи, только если данные находятся во входящей очереди для процессора. Это какая-то неверная конфигурация или ошибка в реализации?

1 Ответ

3 голосов
/ 17 июня 2019

Процессор снабжен аннотацией @TriggerWhenEmpty, которая позволяет ему выполняться постоянно, независимо от данных во входящей очереди. Причина этого в том, что в керберизованной среде процессору нужен шанс обновить учетные данные. Это была общая проблема с другими процессорами, когда данные не поступали в течение длительного времени, скажем, в выходные, и в течение этого времени истекал срок действия билета Kerberos, а затем, когда данные начинали поступать в понедельник, все давало сбой.

Эти пустые казни не должны иметь большого влияния на систему. Когда процессор выполняется и данные недоступны, он просто вызывает yield и Return. Длительность по умолчанию составляет 1 секунду, но ее можно контролировать через пользовательский интерфейс.

...