Невозможно получить доступ к таблице Hive, когда используется режим кластера пряжи - PullRequest
Новая
       71

Невозможно получить доступ к таблице Hive, когда используется режим кластера пряжи

2 голосов
/ 16 марта 2019

У меня в керборе включен кластер Cloudera. Spark может получить доступ к таблице Hive, когда я использую режим развертывания клиента.

Я выполнил команду kinit, а затем выполнил spark2-submit. Spark может получить доступ к таблице Hive, когда я использую режим клиента. 

spark2-submit --master yarn --deploy-mode client  --keytab XXXXXXXXXX.keytab --principal XXXXXXXXXXX@USER.COM  --conf "spark.driver.extraJavaOptions=-XX:+UseG1GC -XX:MaxPermSize=1024M -Djava.security.krb5.conf=/etc/krb5.conf" test.jar

Но когда я использую кластерный режим, спарк выдаст ошибку «таблица не найдена». 

spark2-submit --master yarn --deploy-mode cluster  --keytab XXXXXXXXXX.keytab --principal XXXXXXXXXXX@USER.COM  --conf "spark.driver.extraJavaOptions=-XX:+UseG1GC -XX:MaxPermSize=1024M -Djava.security.krb5.conf=/etc/krb5.conf" test.jar
...