Как выставить Кафку из Докера на внешний мир? - PullRequest
Новая
       6

Как выставить Кафку из Докера на внешний мир?

0 голосов
/ 10 декабря 2018

Для связи с Кафкой из приложения Dockerized Spring-Boot, единственная возможность, которую я смог получить, - это также Dockerizing Kafka.

Вот мой docker-compose-yml : 

version: '3.5'
services:
  zookeeper:
    image: wurstmeister/zookeeper
    ports:
      - "2181:2181"
    networks:
      - kafka-network
  kafka:
    image: wurstmeister/kafka
    ports:
      - "9092:9092"
    networks:
      - kafka-network
    environment:
      KAFKA_ADVERTISED_HOST_NAME: kafka
      KAFKA_AUTO_CREATE_TOPICS_ENABLE: 'true'
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
    depends_on:
      - zookeeper
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
networks:
  kafka-network:
    name: kafka-network

Таким образом, я могу подключиться к брокеру Kafka из другого контейнера в kafka-сети , используя url kafka: 9092

Как мне сделать его также доступным с локального хоста и с других машин?

ОБНОВЛЕНИЕ Я обновил свой docker-compose следующим образом: 

version: '3.5'
services:
  zookeeper:
    image: wurstmeister/zookeeper
    ports:
      - "2181:2181"
    networks:
      - kafka-network
  kafka:
    image: wurstmeister/kafka
    ports:
      - "9092:9092"
    networks:
      - kafka-network
    environment:
      KAFKA_ADVERTISED_HOST_NAME: kafka
      KAFKA_AUTO_CREATE_TOPICS_ENABLE: 'true'
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_LISTENERS: ${KAFKA_LISTENERS:-PLAINTEXT://:9092}
      KAFKA_ADVERTISED_LISTENERS: ${KAFKA_ADVERTISED_LISTENERS:-PLAINTEXT://127.0.0.1:9092}
    depends_on:
      - zookeeper
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
networks:
  kafka-network:
    name: kafka-network

и создал файл .env со следующим содержимым: 

KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://the.ip.of.machine:9092

Я протестировал его на своем ПК (без файла .env), и я могу общаться с брокером, используя kafkakat из localhost: 

$ docker ps
CONTAINER ID        IMAGE                    COMMAND                  CREATED             STATUS              PORTS                                                NAMES
6844a16fa14f        wurstmeister/kafka       "start-kafka.sh"         5 seconds ago       Up 3 seconds        0.0.0.0:9092->9092/tcp                               kafka-compose_kafka_1_9573f71109c7
15d62557f3bd        wurstmeister/zookeeper   "/bin/sh -c '/usr/sb…"   6 seconds ago       Up 4 seconds        22/tcp, 2888/tcp, 3888/tcp, 0.0.0.0:2181->2181/tcp   kafka-compose_zookeeper_1_61a19213cde7

$ kafkacat -P -b localhost:9092 -t topic1
New test 
^C

$ kafkacat -C -b localhost:9092 -t topic1
New test
% Reached end of topic topic1 [0] at offset 1

$ kafkacat  -b localhost:9092 -L
Metadata for all topics (from broker -1: localhost:9092/bootstrap):
 1 brokers:
  broker 1001 at 127.0.0.1:9092
 4 topics:
 ...

Однако я не могу сделать то же самое на сервере, единственное отличие - это IP-адрес хост-машины для KAFKA_ADVERTISED_LISTENERS.

Что я вижу, это то, что он продолжает говорить Лидер недоступен 

# kafkacat  -b localhost:9092 -L
Metadata for all topics (from broker -1: localhost:9092/bootstrap):
 1 brokers:
  broker 1002 at the.ip.of.machine:9092


 topic "__consumer_offsets" with 50 partitions:
    partition 0, leader -1, replicas: 1001, isrs: , Broker: Leader not available
    partition 1, leader -1, replicas: 1001, isrs: , Broker: Leader not available
    partition 2, leader -1, replicas: 1001, isrs: , Broker: Leader not available
    partition 3, leader -1, replicas: 1001, isrs: , Broker: Leader not available
    partition 4, leader -1, replicas: 1001, isrs: , Broker: Leader not available
    partition 5, leader -1, replicas: 1001, isrs: , Broker: Leader not available

Не долженt Я установил IP-адрес сервера для KAFKA_ADVERTISED_LISTENERS ?

Ответы [ 2 ]

0 голосов
/ 11 июля 2019

Для новых версий кафки попробуйте посмотреть здесь:

https://www.kaaproject.org/kafka-docker

https://github.com/bitnami/bitnami-docker-kafka/issues/29#issuecomment-435216430

Для старой кафки, если вытолько один компьютер может помочь этим переменным kafka: 

environment:
  ADVERTISED_HOST: ${COMPUTERNAME}
  ADVERTISED_PORT: "9092"
0 голосов
/ 10 декабря 2018

Вы должны установить LISTENERS в environments, чтобы выставить брокеров Kafka во внешнюю сеть, как показано ниже: 

KAFKA_LISTENERS: PLAINTEXT://:9092
KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://one.prod.com:9092

Вот пример:
https://github.com/wurstmeister/kafka-docker/blob/85821409d4d49a4edc7c5be83b68b71eceeab1bc/docker-compose-swarm.yml

Более подробную информацию вы можете получить здесь: https://github.com/wurstmeister/kafka-docker/wiki/Connectivity

...