Hive-tez UDF - как получить трассировку стека Python? - PullRequest
Новая
       52

Hive-tez UDF - как получить трассировку стека Python?

0 голосов
/ 08 ноября 2019

Я запускаю квест Hive-on-Tez (Hortonworks HDP-3.1) с предложением transform() using и скриптом на python. Когда мой скрипт терпит неудачу, все, что я получаю, это java stacktrace: 

TaskAttempt 3 failed, info=[Error: Error while running task ( failure ) : attempt_1572037513902_1984_1_00_000006_3:java.lang.RuntimeException: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row
    at org.apache.hadoop.hive.ql.exec.tez.TezProcessor.initializeAndRunProcessor(TezProcessor.java:296)
    at org.apache.hadoop.hive.ql.exec.tez.TezProcessor.run(TezProcessor.java:250)

...
Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row
    at org.apache.hadoop.hive.ql.exec.MapOperator.process(MapOperator.java:576)
    at org.apache.hadoop.hive.ql.exec.tez.MapRecordSource.processRow(MapRecordSource.java:92)
    ... 19 more
Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: [Error 20001]: An error occurred while reading or writing to your custom script. It may have crashed with an error.
    at org.apache.hadoop.hive.ql.exec.ScriptOperator.process(ScriptOperator.java:464)
...
    ... 20 more
Caused by: java.io.IOException: Stream closed
...
    ... 33 more

Я не мог найти python stacktrace нигде, не в журналах контейнера Yarn также. В обычном потоковом задании с уменьшением карты я всегда получаю трассировку стека Python.

Я установил tez.am.log.level = DEBUG и получаю тонны информации DEBUG, но все еще не отслеживаю Python.

Есть ли способ получить трассировку стека Python для запросов HIVE-Tez с помощью сценариев UDF?

Заранее спасибо!

...