Служба Kafka NodePort недоступна вне кластера - PullRequest
Новая
       71

Служба Kafka NodePort недоступна вне кластера

0 голосов
/ 24 января 2019

Я пытался развернуть Кафку, используя Графики руля .Поэтому я определил сервис NodePort для стручков Кафки.Я проверил производителя и потребителя консоли Kafka с одинаковыми хостами и портами - они работают правильно.Однако, когда я создаю приложение Spark в качестве потребителя данных и Kafka в качестве производителя, они не могут подключиться к службе Kafka0.Я использовал ip minikube (вместо ip узла) для хоста и сервисного порта NodePort.Хотя в журналах Spark я видел, что служба NodePort разрешает конечные точки, а посредники обнаруживаются в виде адресов и портов: 

INFO AbstractCoordinator: [Consumer clientId=consumer-1, groupId=avro_data] Discovered group coordinator 172.17.0.20:9092 (id: 2147483645 rack: null)
INFO ConsumerCoordinator: [Consumer clientId=consumer-1, groupId=avro_data] Revoking previously assigned partitions []
INFO AbstractCoordinator: [Consumer clientId=consumer-1, groupId=avro_data] (Re-)joining group
WARN NetworkClient: [Consumer clientId=consumer-1, groupId=avro_data] Connection to node 2147483645 (/172.17.0.20:9092) could not be established. Broker may not be available.
INFO AbstractCoordinator: [Consumer clientId=consumer-1, groupId=avro_data] Group coordinator 172.17.0.20:9092 (id: 2147483645 rack: null) is unavailable or invalid, will attempt rediscovery
WARN NetworkClient: [Consumer clientId=consumer-1, groupId=avro_data] Connection to node 2 (/172.17.0.20:9092) could not be established. Broker may not be available.
WARN NetworkClient: [Consumer clientId=consumer-1, groupId=avro_data] Connection to node 0 (/172.17.0.12:9092) could not be established. Broker may not be available.

Как это поведение можно изменить?

Как выглядит определение службы NodePortэто: 

kind: Service
apiVersion: v1
metadata:
  name: kafka-service
spec:
  selector:
    app: cp-kafka
    release: my-confluent-oss
  ports:
    - protocol: TCP
      targetPort: 9092
      port: 32400
      nodePort: 32400
  type: NodePort

Конфигурация потребителя Spark: 

def kafkaParams() = Map[String, Object](
  "bootstrap.servers" -> "192.168.99.100:32400",
  "schema.registry.url" -> "http://192.168.99.100:8081",
  "key.deserializer" -> classOf[StringDeserializer],
  "value.deserializer" -> classOf[KafkaAvroDeserializer],
  "group.id" -> "avro_data",
  "auto.offset.reset" -> "earliest",
  "enable.auto.commit" -> (false: java.lang.Boolean)
)

Конфигурация производителя Kafka: 

  props.put("bootstrap.servers", "192.168.99.100:32400")
  props.put("client.id", "avro_data")
  props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer")
  props.put("value.serializer", "io.confluent.kafka.serializers.KafkaAvroSerializer")
  props.put("schema.registry.url", "http://192.168.99.100:32500")

Все службы K8s для Kafka: 

NAME                                     TYPE           CLUSTER-IP       EXTERNAL-IP   PORT(S)             AGE
kafka-service                            NodePort       10.99.113.234    <none>        32400:32400/TCP     6m34s
kubernetes                               ClusterIP      10.96.0.1        <none>        443/TCP             27d
my-confluent-oss-cp-kafka                ClusterIP      10.100.156.108   <none>        9092/TCP            102m
my-confluent-oss-cp-kafka-connect        ClusterIP      10.99.78.89      <none>        8083/TCP            102m
my-confluent-oss-cp-kafka-headless       ClusterIP      None             <none>        9092/TCP            102m
my-confluent-oss-cp-kafka-rest           ClusterIP      10.100.152.109   <none>        8082/TCP            102m
my-confluent-oss-cp-ksql-server          ClusterIP      10.96.249.202    <none>        8088/TCP            102m
my-confluent-oss-cp-schema-registry      ClusterIP      10.109.27.45     <none>        8081/TCP            102m
my-confluent-oss-cp-zookeeper            ClusterIP      10.102.182.90    <none>        2181/TCP            102m
my-confluent-oss-cp-zookeeper-headless   ClusterIP      None             <none>        2888/TCP,3888/TCP   102m
schema-registry-service                  NodePort       10.103.100.64    <none>        32500:32500/TCP     33m
zookeeper-np                             NodePort       10.98.180.130    <none>        32181:32181/TCP     53m

1 Ответ

0 голосов
/ 27 марта 2019

У меня была похожая проблема, когда я пытался получить доступ к брокеру kafka ( cp-helm-chart ), работающему на мини-кубе извне.

Вот как я это решил.Перед установкой с помощью helm install из локального репозитория.

  1. Отредактируйте внутри этого файла https://github.com/confluentinc/cp-helm-charts/blob/master/charts/cp-kafka/values.yaml
  2. Найдите узел порта: и измените его включенное поле на true.nodeport:enabled: true
  3. Раскомментируйте эти две строки, удалив #:"advertised.listeners": | -EXTERNAL: // $ {HOST_IP}: $ ((31090 + $ {KAFKA_BROKER_ID}))
  4. Замените $ {HOST_IP} на ваш ip мини-куба (введите ip minikube в cmd, чтобы получить ip хоста k8s, например: 196.169.99.100)
  5. Заменить $ {KAFKA_BROKER_ID} идентификатором брокера (если запущен только один брокер, его значение по умолчанию будет просто 0)
  6. Наконец, это будет выглядеть примерно так:"advertised.listeners": | -EXTERNAL: //196.169.99.100: 31090

Теперь вы можете получить доступ к брокеру kafka, работающему в кластере k8s извне, указав bootstrap.servers на 196.169.99.100:31090

...