Мы рассматриваем Apache NiFi как инструмент приема данных общего назначения для наших корпоративных требований.
Одним из типичных требований к загрузке данных является перемещение данных из РСУБД.
системы на HDFS.
Мне удалось построить поток перемещения данных из СУРБД в HDFS в NiFi с использованием процессоров GenerateTableFetch и ExecuteSQL, предоставленных NiFi, и все отлично работало для небольших таблиц.
Но я не смог проверить поток для больших таблиц, так как использовал автономный дистрибутив.
Кто-нибудь делал сравнение производительности NiFi с SQOOP для аналогичных требований?