Невозможно подключить производителя / потребителя к облачному брокеру kafka после развертывания на k8s с помощью strimzi - PullRequest
Новая
       36

Невозможно подключить производителя / потребителя к облачному брокеру kafka после развертывания на k8s с помощью strimzi

0 голосов
/ 12 февраля 2020

Я не могу начать продюсера писать на топике кафки c. Моя служба кафки была развернута на k8s со стримзи. В моем кластере k8s есть 2 узла облачной службы Google.

Как видно из конфигурации k8s, все службы включены:

kafka services

kafka-cluster-kafka-external-bootstrap - это сервис (nodeport) для связи с брокером kafka. По сути, он перенаправляет запросы от внешнего узла к внутренней службе брокера. Вот некоторые подробности:

enter image description here

Следуя руководству (в котором в качестве примера кластера используется миникуб), я извлек ip узла *: 

kubectl get nodes --output=jsonpath='{range .items[*]}{.status.addresses[?(@.type=="ExternalIP")].address}{"\n"}{end}'
35.xxx.xxx.xxx
34.xxx.xxx.xxx

(основное отличие от руководства в том, что Я использую "ExternalIP" вместо "InternalIP" , потому что я все делаю удаленно)

Затем я ищу порт на который выставляет службу: 

kubectl get service kafka-cluster-kafka-external-bootstrap -n xxxx-kafka -o=jsonpath='{.spec.ports[0].nodePort}{"\n"}'
30680

Но когда я пытаюсь запустить моего продюсера, используя локальную корзину apache -kafka, я получаю это: 

sh kafka-console-producer.sh --broker-list 35.xxx.xxx.xxx:30680 --topic test
>[2020-02-11 16:37:18,388] WARN [Producer clientId=console-producer] Connection to node -1 (/35.xxx.xxx.xxx:30680) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)

Так что я попытался пропинговать ip, чтобы увидеть, достижим ли он: 

ping 35.xxx.xxx.xxx
PING 35.xxx.xxx.xxx (35.xxx.xxx.xxx) 56(84) bytes of data.
64 bytes from 35.xxx.xxx.xxx: icmp_seq=1 ttl=54 time=63.4 ms
64 bytes from 35.xxx.xxx.xxx: icmp_seq=2 ttl=54 time=51.4 ms

Он доступен, но порт не: 

telnet 35.xxx.xxx.xxx 30680
Trying 35.xxx.xxx.xxx...
telnet: Unable to connect to remote host: Connection timed out

Это моя конфигурация yaml для kafka кластер: 

apiVersion: kafka.strimzi.io/v1beta1
kind: Kafka
metadata:
  creationTimestamp: "2020-02-10T15:04:38Z"
  generation: 1
  name: kafka-cluster
  namespace: xxxx-kafka
  resourceVersion: "5868409"
  selfLink: /apis/kafka.strimzi.io/v1beta1/namespaces/xxxx-kafka/kafkas/kafka-cluster
  uid: 93d0d9b6-7c88-4e01-af9c-49f9fcaac1d1
spec:
  entityOperator:
    topicOperator: {}
    userOperator: {}
  kafka:
    config:
      offsets.topic.replication.factor: 1
      transaction.state.log.min.isr: 1
      transaction.state.log.replication.factor: 1
    listeners:
      external:
        tls: false
        type: nodeport
      plain: {}
      tls: {}
    replicas: 1
    storage:
      type: jbod
      volumes:
      - deleteClaim: false
        id: 0
        size: 100Gi
        type: persistent-claim
  zookeeper:
    replicas: 1
    storage:
      deleteClaim: false
      size: 100Gi
      type: persistent-claim
status:
  conditions:
  - lastTransitionTime: 2020-02-11T15:33:50+0000
    status: "True"
    type: Ready
  listeners:
  - addresses:
    - host: kafka-cluster-kafka-bootstrap.xxxx-kafka.svc
      port: 9092
    type: plain
  - addresses:
    - host: kafka-cluster-kafka-bootstrap.xxxx-kafka.svc
      port: 9093
    type: tls
  - addresses:
    - host: <AnyNodeAddress>
      port: 30680
    type: external
  observedGeneration: 1

Кто-нибудь знает, почему возникает эта проблема и как правильно запустить производитель?

РЕДАКТИРОВАТЬ:

это yaml из kafka-cluster-kafka-bootstrap

apiVersion: v1
kind: Service
metadata:
  creationTimestamp: "2020-02-11T15:31:57Z"
  labels:
    app.kubernetes.io/instance: kafka-cluster
    app.kubernetes.io/managed-by: strimzi-cluster-operator
    app.kubernetes.io/name: strimzi
    strimzi.io/cluster: kafka-cluster
    strimzi.io/kind: Kafka
    strimzi.io/name: kafka-cluster-kafka-bootstrap
  name: kafka-cluster-kafka-bootstrap
  namespace: xxxx-kafka
  ownerReferences:
  - apiVersion: kafka.strimzi.io/v1beta1
    blockOwnerDeletion: false
    controller: false
    kind: Kafka
    name: kafka-cluster
    uid: 93d0d9b6-7c88-4e01-af9c-49f9fcaac1d1
  resourceVersion: "5867902"
  selfLink: /api/v1/namespaces/xxxx-kafka/services/kafka-cluster-kafka-bootstrap
  uid: 3dfdbd89-fc97-43d3-8e10-4f6a23eae20e
spec:
  clusterIP: 10.0.2.111
  ports:
  - name: replication
    port: 9091
    protocol: TCP
    targetPort: 9091
  - name: clients
    port: 9092
    protocol: TCP
    targetPort: 9092
  - name: clientstls
    port: 9093
    protocol: TCP
    targetPort: 9093
  selector:
    strimzi.io/cluster: kafka-cluster
    strimzi.io/kind: Kafka
    strimzi.io/name: kafka-cluster-kafka
  sessionAffinity: None
  type: ClusterIP
status:
  loadBalancer: {}

Я также пытался установить внутреннее соединение с узла GCP, но у меня возникла та же проблема. Я извлек внутренние Ips: 

kubectl get nodes --output=jsonpath='{range .items[*]}{.status.addresses[?(@.type=="InternalIP")].address}{"\n"}{end}'
10.132.0.4
10.132.0.5

Затем я попытался подключить производителя с узла GCP, и вот что я получил: 

sh kafka-console-producer.sh --broker-list 10.132.0.4:30680 --topic test_topic
>hello
[2020-02-12 15:31:15,033] ERROR Error when sending message to topic test_topic with key: null, value: 4 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)
org.apache.kafka.common.errors.TimeoutException: Topic test_topic not present in metadata after 60000 ms.
>[2020-02-12 15:32:24,629] WARN [Producer clientId=console-producer] Connection to node 0 (/34.xxx.xxx.xxx:30350) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)

Теперь, перед тем, как получить ошибку соединения, я получил также этот: 

[2020-02-12 15:31:15,033] ERROR Error when sending message to topic test_topic with key: null, value: 4 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)
    org.apache.kafka.common.errors.TimeoutException: Topic test_topic not present in metadata after 60000 ms.

Это kafka-cluster-kafka-brokers yaml: 

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.alpha.kubernetes.io/tolerate-unready-endpoints: "true"
  creationTimestamp: "2020-02-11T15:31:57Z"
  labels:
    app.kubernetes.io/instance: kafka-cluster
    app.kubernetes.io/managed-by: strimzi-cluster-operator
    app.kubernetes.io/name: strimzi
    strimzi.io/cluster: kafka-cluster
    strimzi.io/kind: Kafka
    strimzi.io/name: kafka-cluster-kafka-brokers
  name: kafka-cluster-kafka-brokers
  namespace: xxxx-kafka
  ownerReferences:
  - apiVersion: kafka.strimzi.io/v1beta1
    blockOwnerDeletion: false
    controller: false
    kind: Kafka
    name: kafka-cluster
    uid: 93d0d9b6-7c88-4e01-af9c-49f9fcaac1d1
  resourceVersion: "5867905"
  selfLink: /api/v1/namespaces/xxxx-kafka/services/kafka-cluster-kafka-brokers
  uid: 42d7fa08-cf52-47e1-9746-89a45d65351b
spec:
  clusterIP: None
  ports:
  - name: replication
    port: 9091
    protocol: TCP
    targetPort: 9091
  - name: clients
    port: 9092
    protocol: TCP
    targetPort: 9092
  - name: clientstls
    port: 9093
    protocol: TCP
    targetPort: 9093
  publishNotReadyAddresses: true
  selector:
    strimzi.io/cluster: kafka-cluster
    strimzi.io/kind: Kafka
    strimzi.io/name: kafka-cluster-kafka
  sessionAffinity: None
  type: ClusterIP
status:
  loadBalancer: {}
...