Поддерживает ли Sqoop извлечение данных из секционированной оракульной таблицы? - PullRequest
Новая
       6

Поддерживает ли Sqoop извлечение данных из секционированной оракульной таблицы?

0 голосов
/ 02 марта 2019

У меня очень большая таблица оракулов, которая является секционированной таблицей, я хотел бы спросить, поддерживает ли Sqoop разделение на основе разделов оракула или каким образом, например, один маппер для импорта из одного раздела оракула. ​​

1 Ответ

0 голосов
/ 06 марта 2019

Sqoop поддерживает импорт из таблицы разделов оракула. Здесь - документация.

Синтаксис выглядит примерно так 

sqoop import \
-Doraoop.disabled=false \
-Doraoop.import.partitions='"PARTITION-NAME","PARTITION-NAME1","PARTITION-NAME2",' \
--connect jdbc:oracle:thin:@XXX.XXX.XXX.XXX:15XX:SCHEMA_NAME \
--username user \
--password password \
--table SCHEMA.TABLE_NAME \
--target-dir /HDFS/PATH/ \
-m 1

Для каждого раздела будет назначен отдельный преобразователь, который будет одновременно записывать данные в HDFS.

Убедитесь, что у вас включено свойство динамических разделов, а значение свойства количества разделов также больше, чем у разделов, существующих в oracle, при создании таблицы Hive.

...