Я не могу создать конечную точку для подключения jypyter (anaconda) -> Livy -> pyspark с использованием kerberos - PullRequest
Новая
       92

Я не могу создать конечную точку для подключения jypyter (anaconda) -> Livy -> pyspark с использованием kerberos

0 голосов
/ 07 марта 2020

Я установил Anaconda для использования jupyter и хотел бы использовать его для обработки кодов pyspark в had oop, где для аутентификации используется kerberos.

В некоторых документах я нашел конфигурацию livy с kerberos: 

livy.server.auth.type = kerberos
livy.server.auth.kerberos.principal = HTTP/server.domain.net.br@DOMAIN.COM.BR 
livy.server.auth.kerberos.keytab = /home/livy/HTTP_user.keytab
livy.server.launch.kerberos.principal = user/server.domain.net.br@DOMAIN.COM.BR
livy.server.launch.kerberos.keytab = /home/livy/user.keytab
livy.server.access_control.enabled = true
livy.server.access_control.users = user,hdfs,livy
livy.superusers = user,hdfs,livy

Журналы: 

20/03/06 17:30:29 INFO server.KerberosAuthenticationHandler: Login using keytab /home/livy/HTTP_user.keytab, for principal HTTP/server.domain.net.br@DOMAIN.COM.BR
20/03/06 17:30:29 INFO handler.ContextHandler: Started o.e.j.s.ServletContextHandler@4bff1903{/,file:///home/livy/apache-livy-0.7.0-incubating-bin/bin/src/main/org/apache/livy/server,AVAILABLE}
20/03/06 17:30:29 INFO server.AbstractNCSARequestLog: Opened /home/livy/apache-livy-0.7.0-incubating-bin/logs/2020_03_06.request.log
20/03/06 17:30:29 INFO server.AbstractConnector: Started ServerConnector@76f7d241{HTTP/1.1,[http/1.1]}{172.20.239.113:8998}
20/03/06 17:30:29 INFO server.Server: Started @2813ms
20/03/06 17:30:29 INFO server.WebServer: Starting server on http://server_IP:8998

С журналами все в порядке.

Когда я пытаюсь создать конечную точку, появляется сообщение об ошибке. Выполните следующие действия:

  1. Запустите Ливий.
  2. kinit user - Получение учетных данных.
  3. Запустите jupyter
  4. Запустите pyspark ядра (sparkmagi *) 1043 *)
  5. Попытка создать конечную точку с помощью команд:
    • % load_ext sparkmagi c .magics
    • % manage_spark
      • , и проблема начинается здесь .
      • Добавить конечную точку: http://server: 8998 Тип аутентификации: Kerberos

Тогда я получаю это ошибка: 

HttpClientException: **Error sending http request and maximum retry encountered**."
...