Sqoop Export to TD Ошибка установки объекта на TimelineServer - PullRequest
Новая
       11

Sqoop Export to TD Ошибка установки объекта на TimelineServer

0 голосов
/ 30 октября 2018

Я пытаюсь написать задание sqoop для экспорта данных из hdfs в Teradata. При выполнении задания происходит сбой на этапе карты с ошибкой ниже. Я думал, что это исключение нулевого значения, поэтому я попытался иметь только один столбец с несколькими записями без нулевого значения. Тем не менее я получил ту же ошибку. Так что я подозреваю, что это связано с конфигурацией или файлами jar, которые я использовал. Не могли бы вы помочь мне точно определить проблему высоко ценится.

Заранее спасибо.

Сценарий: 

#!/bin/bash
export USER=$UserName
export PWD=$Pwd
export CLASSPATH=$CLASSPATH:/opt/dev/sha/TD2HDFS/terajdbc4.jar:/opt/dev/sha/TD2HDFS/tdgssconfig.jar:/opt/teradata/client/16.10/tbuild/jar/teradata-connector-1.4.4.jar
export HADOOP_CLASSPATH=$CLASSPATH
export CONN=jdbc:teradata://<IPAddress>/DATABASE=wrk_dv_dcl_infa_wrk_db,CHARSET=ASCII,TMODE=DEFAULT,TNANO=0

sqoop export \
  --connect $CONN --username $USER --password $PWD \
  --driver com.teradata.jdbc.TeraDriver \
  --table test_export \
  --export-dir /apps-data/sit/sha/test_export \
  --batch

Выход на консоль: 

18/10/26 10:43:10 INFO mapreduce.Job:  map 0% reduce 0%  
18/10/26 10:43:18 INFO mapreduce.Job:  map 100% reduce 0%  
18/10/26 10:43:19 INFO mapreduce.Job: Job job_1539322671497_2141 failed with state FAILED due to: Task failed task_1539322671497_2141_m_000000
Job failed as tasks failed. failedMaps:1 failedReduces:0

Syslog: 

2018-10-26 10:43:10,004 ERROR [eventHandlingThread] org.apache.hadoop.mapreduce.jobhistory.JobHistoryEventHandler: Error putting entity null to TimelineServer  
org.apache.hadoop.yarn.exceptions.YarnException: Incomplete entity without entity id/type  
                at org.apache.hadoop.yarn.client.api.impl.TimelineWriter.putEntities(TimelineWriter.java:88)  
                at org.apache.hadoop.yarn.client.api.impl.TimelineClientImpl.putEntities(TimelineClientImpl.java:348)  
                at org.apache.hadoop.mapreduce.jobhistory.JobHistoryEventHandler.processEventForTimelineServer(JobHistoryEventHandler.java:1000)  
                at org.apache.hadoop.mapreduce.jobhistory.JobHistoryEventHandler.handleEvent(JobHistoryEventHandler.java:571)  
                at org.apache.hadoop.mapreduce.jobhistory.JobHistoryEventHandler$1.run(JobHistoryEventHandler.java:319)  
                at java.lang.Thread.run(Thread.java:748)  
2018-10-26 10:43:10,450 INFO [RMCommunicator Allocator] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: Before Scheduling: PendingReds:0 ScheduledMaps:4 ScheduledReds:0 AssignedMaps:0 AssignedReds:0 CompletedMaps:0 CompletedReds:0 ContAlloc:0 ContRel:0 HostLocal:0 RackLocal:0

2018-10-26 10:43:17,516 INFO [IPC Server handler 2 on 40452] org.apache.hadoop.mapred.TaskAttemptListenerImpl: JVM with ID: jvm_1539322671497_2141_m_683896232476677 given task: attempt_1539322671497_2141_m_000003_0  
2018-10-26 10:43:17,757 FATAL [IPC Server handler 10 on 40452]    org.apache.hadoop.mapred.TaskAttemptListenerImpl: Task: attempt_1539322671497_2141_m_000000_0 - exited : java.lang.NullPointerException  
                at com.teradata.tdgss.jtdgss.TdgssConfigApi.GetMechanisms(Unknown Source)  
                at com.teradata.tdgss.jtdgss.TdgssManager.<init>(Unknown Source)  
                at com.teradata.tdgss.jtdgss.TdgssManager.<clinit>(Unknown Source)  
                at com.teradata.jdbc.jdbc.GenericTeraEncrypt.getGSSM(GenericTeraEncrypt.java:577)
...