Миграция существующего ETL на NiFi: какой процессор выбрать? - PullRequest
0 голосов
/ 04 января 2019

У нас есть существующий конвейер ETL, изучающий возможность его миграции на NiFi.

Наш конвейер содержит задания, написанные на python / scala, и выполняет множество операций по усвоению / преобразованию.

Какой процессор NiFi позволяет мне вставлять в него код python / scala?

Большое спасибо.

1 Ответ

0 голосов
/ 17 февраля 2019

Перенос всего вашего кода на NiFi в значительной степени упускает из виду NiFi. Похоже, вам нужен механизм рабочего процесса, такой как Apache Oozie или Apache Airflow.

Если вы действительно хотите перейти на NiFi, попробуйте заменить кодовую логику процессорами NiFi. Это будет выглядеть лучше, и будет легче поддерживать.

Я должен предупредить вас, это будет нелегко, если вы плохо знаете NiFi. Сначала вы должны научиться пользоваться NiFi. После этого вы не пожалеете об этом:)

...