Экспорт данных из HDFS в MySQL, но данные должны быть обновлены перед переходом на MySQL

Question

Мне нужно импортировать данные из MySQL в HDFS, и я делаю это с Apache Sqoop.Но дело в том, что мне также нужно экспортировать данные из HDFS в MySQL, и мне нужно обновить один столбец этих данных (то есть в HDFS) перед перемещением этих данных в MySQL, как я могу это сделать?

Answer 1

Вы можете обновить столбец непосредственно из hdfs и сохранить выходные данные куста в HDFS, используя INSER OVERWRITE DIRECTORY "path", а затем выполнить следующую команду sqoop

 sqoop export \
--connect jdbc:mysql://master/poc \
--username root \
--table employee \
--export-dir /user/hdfs/mysql/export.txt \
--update-key id \
--update-mode allowinsert \
--fields-terminated-by '\t' \
-m 1

Надеюсь, это поможет ..