Ошибка при чтении Teradata из Spark. Он загружает таблицу и показывает схему, но не может дать результат набора данных - PullRequest
0 голосов
/ 04 мая 2020
scala> val df = spark.sqlContext.load("jdbc", Map("url" -> "jdbc:teradata://tdpw/database=ven68959, TMODE=TERA, user=iv068959, password=xxxxxxx","dbtable" ->"abc_view.vmyk_csat_echat"," driver" -> "com.teradata.jdbc.TeraDriver"))
warning: there was one deprecation warning; re-run with -deprecation for details
df: org.apache.spark.sql.DataFrame = [SRVY_ID: string, SRVY_PRGM_ID: string ... 32 more fields]


scala> df.show(1,false)
20/05/04 10:56:08 WARN TaskSetManager: Lost task 0.0 in stage 1.0 (TID 4, plsq00642d1.corp.sprint.com, executor 19): 
java.sql.SQLException: [Teradata JDBC Driver] [TeraJDBC 15.00.00.20] [Error 804] 
[SQLState 08S01] Socket communication failure for Packet receive Mon May 04 10:56:08 CDT 2020 
socket orig=tdpw local=0.0.0.0/0.0.0.0:45714 
remote=tdpwcop7/144.226.222.186:1025 
keepalive=unavailable 
nodelay=unavailable 
receive=unavailable 
send=unavailable 
linger=unavailable 
traffic=unavailable 
concurrent=3 contimeout=10000 conwait=1000 connecttime=1 connecttotaltime=1 connectattempts=1 connectfailures=0 reconnectattempts=0 
recoverable=false redrive=false failurecache={} cid=676567f4 sess=5175054 
java.io.IOException: Bad response message header with invalid message length of 16773956 bytes  
at com.teradata.jdbc.jdbc_4.io.TDNetworkIOIF.read(TDNet

1 Ответ

0 голосов
/ 04 мая 2020

Обновите драйвер Teradata JDB C до последней версии, предпочтительно до текущей версии 16.20. Драйвер версии 15.0 не полностью совместим с базой данных версии 16+.

...