Сбой TDCH с неожиданной ошибкой посылки для больших таблиц - PullRequest
Новая
       47

Сбой TDCH с неожиданной ошибкой посылки для больших таблиц

0 голосов
/ 15 октября 2019

Постановка проблемы

Я пытаюсь перенести данные из таблицы TD в HDFS с помощью teradata-connector-1.5.8.jar.

Сбой задания с ошибкой ниже Stacktrace.

19/10/15 04:12:33 ИНФОРМАЦИЯ mapreduce.Job: идентификатор задачи: try_1565212221110_0988_m_000001_1, статус: СБОЙ Ошибка: com.teradata.connector.common.exception.ConnectorException: java.sql.SQLException: [Драйвер JDBC Teradata] [TeraJDBC 16.20.00.08] [Ошибка 1005] [SQLState HY000] Получен неожиданный тип участка: 9 на com.teradata.jdbc.jdbc_4.util.ErrorFactory.makeDriverJDBCException (ErrorFactory.java:95) на com.teradata. jdbc.jdbc_4.util.ErrorFactory.makeDriverJDBCException (ErrorFactory.java:70) в com.teradata.jdbc.jdbc_4.statemachine.ReceiveRecordSubState.action (ReceiveRecordSubState.java:196) 1011 *1011* 1011 *1011* 1011 *1011** 

export HADOOP_HOME=/usr/hdp/current/hadoop-client
export HIVE_HOME=/usr/hdp/current/hive-client

export HADOOP_CLASSPATH=$HIVE_HOME/conf:$HIVE_HOME/lib/hive-cli-1.2.1000.2.6.5.1153-2.jar:$HIVE_HOME/lib/hive-exec-1.2.1000.2.6.5.1153-2.jar:$HIVE_HOME/lib/hive-metastore-1.2.1000.2.6.5.1153-2.jar

export LIB_JARS=$HIVE_HOME/lib/hive-cli-1.2.1000.2.6.5.1153-2.jar,$HIVE_HOME/lib/hive-exec-1.2.1000.2.6.5.1153-2.jar,$HIVE_HOME/lib/hive-metastore-1.2.1000.2.6.5.1153-2.jar

hadoop jar teradata-connector-1.5.8.jar com.teradata.connector.common.tool.ConnectorImportTool -libjars $LIB_JARS -url jdbc:teradata://<TD_URL>/TMODE=ANSI,CHARSET=UTF8 -username user -password **** -jobtype hdfs -fileformat textfile -sourcetable db.tablea -targetpaths /tmp/target -separator '\u001F' -nummappers 128

Таблица DDL 

CREATE MULTISET TABLE db.tablea ,FALLBACK ,
     NO BEFORE JOURNAL,
     NO AFTER JOURNAL,
     CHECKSUM = DEFAULT,
     DEFAULT MERGEBLOCKRATIO
     (
)
PRIMARY INDEX ( col1,col2 )
PARTITION BY RANGE_N(col1 BETWEEN '201001' AND '209912' EACH INTERVAL '1' MONTH );

Сведения о кластере: 19/10/15 04:10:59 INFO utils.TeradataUtils: исходный продукт базы данных Teradata

19/10/15 04:10:59 INFO utils.TeradataUtils: исходная версия базы данных 16.20

19/10/15 04:10:59INFO utils.TeradataUtils: версия драйвера jdbc - 16.20

19/10/15 04:10:59 Процессор INFO. Процессор TeradataInput: разъем teradata для версии hadoop: 1.5.8

HDP 2.7

Примечание:

Та же команда работает для небольших таблиц. Но для больших таблиц это не удается. Я также попытался уменьшить количество столбцов. Но опять те же проблемы.

...