HDFS AuthorizationException

Question

Пожалуйста, помогите мне понять, почему у меня проблема с подключением к датододу ниже:

WARN server.AuthenticationFilter (AuthenticationFilter. java: doFilter (588)) - Исключение аутентификации: org. apache* подключение к серверу: s- -t- . .ru / 10.243. . *: 8020

У меня есть керберизованный кластер, и все работает нормально, но я нужно добавить новый датодан, и у меня проблема с подключением только с новым датододом. На namenode у меня есть следующие сообщения:

INFO ip c .Server (Server. java: authorizeConnection (2235)) - Соединение от 10.243.218.16:33435 для протокола org. apache .had oop .hdfs.server.protocol.DatanodeProtocol не авторизован для пользователя dn/s--t-..ru@.RU (auth: PROXY) через $ J4LB00 -3PQ0LQ7EGVSG@.RU (auth: KERBEROS) 2020-02-05 09: 37: 20,172 INFO ip c .Server (Server. java: doRead (1006)) - устройство чтения сокетов # 1 для порта 8020 : readAndProcess от клиента 10.243.218.16 сгенерировал исключение [org. apache .had oop .security.authorize.AuthorizationException: Пользователь: $J4LB00-3PQ0LQ7EGVSG@.RU не разрешено выдавать себя за dn / s- -t- . .ru@.RU]

Итак, что самое интересное это для пользователя: $J4LB00-3PQ0LQ7EGVSG@.RU это тот же самый dn / s- -t- . .ru пользователь, но до входа в систему 2000 имя входа

Это правильно? Что еще интересно, у меня нет проблем с другими старшими датанодами только с этим.

Answer 1

На этой неделе мы столкнулись с точно такой же проблемой в нашем кластере, затрагивающей все узлы!

В Замечания к выпуску HDP 3.1.4 на странице 72 мы обнаружили известную проблему, касающуюся Open JDK 8u242 :

Описание проблемы или поведения Open JDK 8u242 не поддерживается, так как вызывает сбой Kerberos. Обходной путь Используйте другую версию Open JDK

Мы выяснили, что в начале недели мы выполнили обновление до 8u242 и понизили его до openjdk-8-jdk = 8u162-b12-1.

Это решило проблему для нас.

Answer 2

Спасибо, что сообщили об этом. Я исследовал проблему в кластере HDP 3.1.4 в течение нескольких часов, но не смог понять, что происходит. В версии JDK исправлено.

Этот выпуск OpenJDK 8 242 вызывает больше проблем. Нам пришлось откатиться к OpenJDK 8u232 для HDF (Nifi), а также из-за проблемы с соединениями между сайтами Nifi, указывающими тайм-ауты, а не связанные с Kerberos. Симптомом было то, что TCP-сеансы к необработанному порту находились в состоянии SYN_RECV.

Answer 3

Понижение рейтинга не является реальным решением. Мы столкнулись с той же проблемой, поэтому я сообщил об этом здесь: https://bugs.launchpad.net/ubuntu/+source/openjdk-8/+bug/1861883

Я также сообщил об этом на сайт отчетов об ошибках OpenJDK (дважды), но пока никакой реакции.