Azure HDinsight Kafka и настройка kafka для ip-рекламы - PullRequest
0 голосов
/ 19 февраля 2020

Я ищу информацию о Azure HDInsight Kafka и о том, чтобы заставить kafka рекламировать IP-адреса вместо полных доменных имен. Когда мы создаем HDInsight Kafka, по умолчанию он создает azure при условии внутренних полных доменных имен, и эти полные доменные имена могут разрешаться с помощью виртуальных сетей. Через vnets мы не можем разрешить эти FQDN. Даже если мы хотим решить, то нам нужно go с настраиваемым DNS согласно Azure документации. В качестве альтернативы этому мы можем go с помощью kafka рекламировать свои IP-адреса, а не FQDN. Это может быть достигнуто с помощью инструмента / панели управления кластером Ambari, где мы должны добавить несколько строк текста в конфигурацию kafka (шаблон kafka-env)

https://docs.microsoft.com/en-us/azure/hdinsight/kafka/apache-kafka-connect-vpn-gateway#configure -kafka-for-ip -реклама

В рамках приведенной выше ссылки нам нужно go и добавить следующие строки текста в «шаблон kafka-env» для создания IP-рекламы.

#Configure Kafka to advertise IP addresses instead of FQDN
IP_ADDRESS=$(hostname -i)
echo advertised.listeners=$IP_ADDRESS
sed -i.bak -e '/advertised/{/advertised@/!d;}' /usr/hdp/current/kafka-broker/conf/server.properties
echo "advertised.listeners=PLAINTEXT://$IP_ADDRESS:9092" >> /usr/hdp/current/kafka-broker/conf/server.properties

Но это ручной шаг, который мы должны сделать, пройдя через панель инструментов Ambari.

Но мы ищем полностью автоматизированный способ добавления вышеуказанного текста (без ручного вмешательства в переход на панель инструментов amabari и добавление того же текста выше) с использованием какого-либо механизма REST API или каким-либо другим способом.

Из Azure do c и многие другие связанные документы, я не нашел никакого способа, который объяснил бы то же самое с помощью REST API или любым другим способом.

Как любой, кто делал это, так и любой, кто знал о как автоматизировать управление конфигурацией на этой панели мониторинга ambari для IP-рекламы для Kafka и другого управления конфигурацией с помощью REST или любым другим способом?

В общем, мы ищем автоматизацию IP-рекламы на HD Insight Kafka вместо того, чтобы вручную входить в Панель инструментов Ambari и добавьте вышеуказанный текст вручную.

...