У меня есть Kafka Connect с некоторыми коннекторами HDFS экземпляров. Они пишут в защищенных hdfs с Kerberos. Хотя коннекторы работают нормально, у меня есть несколько вопросов по поводу конфигурации безопасности. Ниже вы можете найти аспекты безопасности конфигураций соединителя:
"hdfs.authentication.kerberos": "true",
"connect.hdfs.principal": "my_custom_user@MY_DOMAIN",
"connect.hdfs.keytab": "/etc/kafka/my_costom_user.keytab",
"hdfs.namenode.principal": "nn/_HOST@MY_DOMAIN",
Я написал конфигурацию в соответствии с официальной документацией, но я не понимаю, почему мне нужно указать (все вместе) connect.hdfs.principal, connect.hdfs.keytab и hdfs.namenode.principal. Я знаю, что билет должен быть создан, но я не уверен, как оформляется запрос. Я думаю, connect.principal + connect.keytab используются для получения TGT, но зачем мне нужен hdfs.namenode.principal?
Я думал, hdfs.namenode.principal потребовалось, чтобы получить токен авторизации, а затем получить токен делегирования. , но в настоящее время я думаю, что это не имеет смысла, потому что в кластере Kafka Connect не установлена таблица ключей для hdfs.namenode.principal, поэтому я понимаю, если hdfs.namenode.principal используется для создания TGT, это должно происходить в кластере Had oop.
Кто-нибудь может пролить свет на это?