Экспорт данных из HiveQL в MySQL с помощью Oozie с Sqoop - PullRequest
Новая
       21

Экспорт данных из HiveQL в MySQL с помощью Oozie с Sqoop

1 голос
/ 27 мая 2019

У меня есть таблица (регулярно обновляемая) в Hive, которую я хочу иметь в одном из моих инструментов с базой данных MySQL.Я не могу просто подключить свое приложение к базе данных Hive, поэтому я хочу экспортировать эти данные непосредственно в базу данных MySQL.

Я немного искал и обнаружил, что это возможно с Sqoop, и яМне сказали использовать Oozie, так как я хочу регулярно обновлять таблицу и экспортировать ее.

Я некоторое время осматривался и пробовал кое-что, но пока не могу добиться успеха, и я просто не понимаю, что делаю.

Пока чтотолько код, который я понимаю, но не работает, выглядит так: 

export --connect jdbc:mysql://myserver
--username username
--password password
--table theMySqlTable
--hive-table cluster.hiveTable

Я видел людей, использующих временную таблицу и экспортирующих ее в текстовый файл, чтобы затем экспортировать, но я не уверен, что смогусделай это.Должны ли Oozie иметь определенные параметры?Я не администратор, поэтому я не уверен, что смогу это сделать ...

Спасибо!

1 Ответ

0 голосов
/ 05 июня 2019

Попробуйте это. 

sqoop export \
--connect "jdbc:sqlserver://servername:1433;databaseName=EMP;" \
--connection-manager org.apache.sqoop.manager.SQLServerManager \
--username userid \
-P \
--table theMySqlTable\
--input-fields-terminated-by '|' \
--export-dir /hdfs path location of file/part-m-00000 \
--num-mappers 1 \
...