Sqoop import из Teradata - больше нет места в базе данных - PullRequest
Новая
       31

Sqoop import из Teradata - больше нет места в базе данных

0 голосов
/ 06 марта 2019

Я новичок в области больших данных, когда я использую команды Sqoop для импорта данных из teradata в мой кластер Hadoop, я сталкиваюсь с ошибкой «Нет больше места в базе данных» Я делаю следующее:

1.Данные, которые я пытаюсь вставить в кластер Hadoop, представляют собой таблицу view 2. Я использовал следующую команду sqoop 

 sqoop import --connect "jdbc:teradata://xxx.xxx.xxx.xxx/DATABASE=XY" \
    -- username user1 \
    -- password xyc
    -- query "
    SELECT * FROM TABLE1 WHERE .... AND \$CONDITIONS \
    " \
    --split-by ITEM_1 \
    --delete-target-dir \
    --target-dir /user/home/folder1 \
    --as-avrodatafile;

Я знаю, что по умолчанию используется сопоставление 4, поскольку у меня нет первичного ключа для моего представления, я использую разделение.

Использование - num-mappers 1 работает, но занимает много времени для переноса примерно 36 ГБ данных, поэтому я хотел бы увеличить num-mappers до 4 или более, однако я получить ошибку "больше нет места". Кто-нибудь знает, что происходит?

...