Конвертировать Kafka docker run команду в Kubernetes - PullRequest
Новая
       47

Конвертировать Kafka docker run команду в Kubernetes

0 голосов
/ 15 марта 2020

Ямл Kubernetes ниже создает ресурсы, как и ожидалось, и нет ошибок / перезапусков. Внешние запросы к брокеру kafka на localhost:80005 зависают бесконечно. Насколько я понимаю, понятие "сеть" docker достигается в Кубернетесе с помощью услуг. В этом случае у меня есть служба NodePort, которая переносит трафик c в кластер, а затем порт ClusterIp, который обрабатывает связь между контейнерами. Основываясь на не-Kubernetes, docker run версии этой конфигурации Zookeeper / Kafka, я подозреваю, что моя проблема лежит где-то в моей службе и / или рекламируемых слушателях. Inte rnet изобилует docker составлять файлы и рулевые диаграммы, но я не могу найти комбинацию конфигураций, которые работают.

Kafka / Zookeeper YAML: 

# Zookeeper
apiVersion: apps/v1
kind: Deployment
metadata:
  name: zookeeper-deploy
spec:
  replicas: 1
  selector:
    matchLabels:
      app: zookeeper-app
  template:
    metadata:
      labels:
        app: zookeeper-app
    spec:
      containers:
        - name: zookeeper-app
          image: confluentinc/cp-zookeeper:5.4.1
          ports:
            - containerPort: 2181
          env:
          - name: ZOOKEEPER_TICK_TIME
            value: "2000"
          - name: ZOOKEEPER_CLIENT_PORT
            value: "2181"
---
apiVersion: v1
kind: Service
metadata:
  name: zk-cluster-svc
  labels:
    app: zk
spec:
  type: ClusterIP
  selector:
    app: zookeeper-app
  ports:
  - port: 2181
    targetPort: 2181
    protocol: TCP
---
# Kafka
apiVersion: apps/v1
kind: Deployment
metadata:
  name: kafka-deploy
spec:
  replicas: 1
  selector:
    matchLabels:
      app: kafka-app
  template:
    metadata:
      labels:
        app: kafka-app
    spec:
      containers:
        - name: kafka-app
          image: confluentinc/cp-kafka:5.4.1
          ports:
            - containerPort: 9092
            - containerPort: 29092
          env:
          - name: KAFKA_BROKER_ID
            value: "1"
          - name: KAFKA_ZOOKEEPER_CONNECT
            value: "zk-cluster-svc:2181"
          - name: KAFKA_ADVERTISED_LISTENERS
            value: "INSIDE://kafka-cluster-svc:29092,OUTSIDE://localhost:30005"
          - name: KAFKA_LISTENER_SECURITY_PROTOCOL_MAP
            value: "INSIDE:PLAINTEXT,OUTSIDE:PLAINTEXT"
          - name: KAFKA_INTER_BROKER_LISTENER_NAME
            value: "INSIDE"
          - name: KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR
            value: "1"
---
apiVersion: v1
kind: Service
metadata:
  name: kafka-service
  labels:
    app: kafka-service
spec:
  type: NodePort
  ports:
  - port: 9092
    nodePort: 30005
    protocol: TCP
  selector:
    app: kafka-app
---
apiVersion: v1
kind: Service
metadata:
  name: kafka-cluster-svc
  labels:
    app: kafka-app
spec:
  selector:
    app: kafka-app
  ports:
  - port: 29092
    targetPort: 29092
    protocol: TCP

^ Это основано на рабочей docker run версии этих контейнеров: 

docker network create kafzoonet

docker run --name app-zookeeper -d --network="kafzoonet" --env ZOOKEEPER_TICK_TIME=2000 --env ZOOKEEPER_CLIENT_PORT=2181 confluentinc/cp-zookeeper:5.4.1

docker run --name app-kafka -p 30005:9092 -d --network="kafzoonet" --env KAFKA_BROKER_ID=1 --env KAFKA_ZOOKEEPER_CONNECT="app-zookeeper:2181" --env KAFKA_ADVERTISED_LISTENERS="PLAINTEXT://app-kafka:29092,PLAINTEXT_HOST://localhost:30005" --env KAFKA_LISTENER_SECURITY_PROTOCOL_MAP="PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT" --env KAFKA_INTER_BROKER_LISTENER_NAME=PLAINTEXT --env KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=1 confluentinc/cp-kafka:5.4.1

Правильно ли настроены службы для одного узла Kafka? Похоже, что Кафка может связаться с Zookeeper, но по какой-то причине, когда клиент подключается, он не получает правильный эхолот. К сожалению, у меня нет никаких сообщений об ошибках, чтобы поддержать это, поскольку клиент зависает, и ни модули Kafka, ни Zookeeper ничего не регистрируют.

...