Воздушный поток должен интегрироваться с NiFi / StreamSets? - PullRequest
0 голосов
/ 13 мая 2019

Я знаю, что Airflow называется менеджером потока операций, менеджером потока данных nifi, но что это значит точно? Наилучшим объяснением на данный момент было то, что nifi заботится о данных, а airflow заботится о задачах, но я не совсем понимаю это определение, и я не смог найти других хороших объяснений / статей / видео, объясняющих, как интегрировать эти системы, если это хорошая идея или лучше использовать каждый из них по-своему.

Кроме того, я подумал, что лучше StreamSets или NiFi, я думаю, что потоковые наборы выглядят лучше в пользовательском интерфейсе и отслеживают данные, но я слышал, что в зависимости от случая, лучше использовать nifi, если я принимаю только данные, но снова могу Не найти много информации по этим вопросам.

1 Ответ

0 голосов
/ 13 мая 2019

Как вы сказали, Airflow - это менеджер рабочих процессов. Это означает, что он говорит только другим программам для запуска. Он не обрабатывает данные, но заставляет других запускаться.

С другой стороны, NiFi и StreamSets обрабатывают данные, преобразуют их, получают и отправляют. Вот почему они менеджеры потоков данных.

...