Apache NiFi - "ExecuteSQL" запускает запрос параллельно? - PullRequest
0 голосов
/ 14 мая 2019

Apache NiFi предоставляет процессор "ExecuteSQL" для выполнения запроса и возврата результатов в виде потоковых файлов. Но если мы выберем опцию «Выполнение» как «Все узлы», NiFi делит запрос на разные пакеты и выполняет каждый из них параллельно (аналогично тому, как это делает SQOOP)?

1 Ответ

2 голосов
/ 14 мая 2019

Если вы используете ExecuteSQL и выбираете все узлы, то один и тот же запрос выполняется на всех узлах.

Если вы хотите использовать поведение, подобное sqoop, вам нужно использовать процессоры, такие как GenerateTableFetch, только на основном узле, а затем использовать соединение с балансировкой нагрузки, подключенное к ExecuteSQL, чтобы запросы выборки распределялись по кластеру.

...