Spark SQL вызывает Hive в YARN в кластере Kerberos - PullRequest
Новая
       19

Spark SQL вызывает Hive в YARN в кластере Kerberos

0 голосов
/ 06 ноября 2018

Spark SQL вызывает Hive для преобразования и создает ошибку таблицы в режиме YARN в кластере Kerberos. То же самое хорошо работает, если мастер установлен на локальный.

Промежуточное преобразование работает нормально, но завершается неудачно, когда команда создания таблицы выполняется с приведенной ниже ошибкой. 

Caused by: org.apache.hadoop.security.AccessControlException: Client cannot authenticate via:[TOKEN, KERBEROS]
        at org.apache.hadoop.security.SaslRpcClient.selectSaslClient(SaslRpcClient.java:172)
        at org.apache.hadoop.security.SaslRpcClient.saslConnect(SaslRpcClient.java:396)
        at org.apache.hadoop.ipc.Client$Connection.setupSaslConnection(Client.java:594)
        at org.apache.hadoop.ipc.Client$Connection.access$2000(Client.java:396)


Caused by: java.io.IOException: Failed on local exception: java.io.IOException: org.apache.hadoop.security.AccessControlException: Client cannot authenticate via:[TOKEN, KERBEROS]; Host Details : local host is: "IP1"; destination host is: "IP2;

Может ли кто-нибудь представить некоторые идеи.

...