Нифи для миграции базы данных

Question

Почему nifi будет хорошим вариантом использования для переноса базы данных, если все, что он делает, это отправляет одни и те же данные снова и снова? (Я пытался извлечь данные из базы данных и поместить их в файл JSON, я видел несколько записейиз того же кортежа.) Разве это не пустая трата вычислительных ресурсов?

Если я просто хочу перенести базу данных один раз, а иногда обновить только измененные столбцы, является ли nifi хорошим инструментом для использования?

Answer 1

Все зависит от того, какую базу данных вы хотите перенести из / в какие среды.Это БД Oracle для большого предприятия, которую вы хотите перенести в Hadoop?Посмотрите на Sqoop https://sqoop.apache.org/. Я бы порекомендовал Sqoop для одноразового импорта больших баз данных в Hadoop.

Вы также можете использовать NiFi для выполнения импорта, используя такие процессоры, как ExecuteSQL, QueryDatabaseTable,GenerateTableFetch ... Все они работают с коннекторами JDBC, поэтому в зависимости от того, поддерживает ли ваша база данных это, вы также можете выбрать это.

Если вы хотите получать инкрементные изменения, вы можете использовать процессор QueryDatabaseTable и использоватьэто свойство столбца Maximum-Value, у Мэтта Берджесса есть статья, объясняющая, как вы можете применить это в https://community.hortonworks.com/articles/51902/incremental-fetch-in-nifi-with-querydatabasetable.html.