Запрос, связанный с импортом Sqoop для таблиц с несколькими размерами файлов - PullRequest
Новая
       30

Запрос, связанный с импортом Sqoop для таблиц с несколькими размерами файлов

0 голосов
/ 26 февраля 2019

У меня есть один сценарий Sqoop здесь.Пожалуйста, дайте вклад по этому вопросу.В моей РСУБД у меня есть n таблиц размером 1 ГБ, 500 МБ, 50 МБ, 10 МБ и т. Д. В этом случае как мне импортировать все таблицы за один раз или каким-либо другим способом?

1 Ответ

0 голосов
/ 26 февраля 2019

Sqoop позволяет загружать по одной таблице за раз, а также позволяет импортировать несколько таблиц.Я не уверен, насколько эффективным будет результат в плане производительности.

И я не думаю, что имеет смысл запускать импорт всего для нескольких таблиц.Впрочем, это только мое мнение.

Вот как вы можете это сделать.

sqoop import-all-tables \
    --connect jdbc:mysql://your_ip_address:3306/database_name \
    --driver com.mysql.jdbc.Driver \
    --username root \
    --warehouse-dir temp_dir_for_staging \
    --hive-import \
    --hive-overwrite \
    --hive-database hive_db \
    --exclude-tables list_of_tables_to_be_excluded 
    -m 1

Подробнее об этом читайте здесь.

https://sqoop.apache.org/docs/1.4.0-incubating/SqoopUserGuide.html#id1766722

...