Использовать сообщения Kafka из другого контейнера в python - PullRequest
Новая
       37

Использовать сообщения Kafka из другого контейнера в python

2 голосов
/ 27 мая 2019

Ниже приведен мой docker-compose файл: 

   version: "3"
    services:
      app:
        image: app
        restart: always
        ports:
          - "8001:8081"
        depends_on:
          - kafka
          - zookeeper
          - consumer
        environment:
          - KAFKA_HOST = kafka

  zookeeper:
    image: "wurstmeister/zookeeper:latest"
    ports:
        - "2181:2181"
    hostname: zookeeper   

  kafka:
    image: "wurstmeister/kafka:2.12-2.2.0"
    ports:
      - "9092:9092"
    hostname: kafka
    links: 
     - zookeeper:zookeeper
    environment:
      KAFKA_CREATE_TOPICS: "Topic01:2:2" #TOPIC:PARTITON:REPLICATION
      KAFKA_ZOOKEEPER_CONNECTION_TIMEOUT_MS: "60000"
      KAFKA_AUTO_CREATE_TOPICS_ENABLE: "true"
      KAFKA_ZOOKEEPER_CONNECT: "zookeeper:2181"
      KAFKA_LISTENERS: 'PLAINTEXT://:9092'
      KAFKA_ADVERTISED_LISTENERS: 'PLAINTEXT://kafka:9092'

    volumes:
      - /var/run/docker.sock:/var/run/docker.sock

  consumer:
    image: consumer:latest
    build:
      context: ./consumer
    ports:
      - "8283:8283"

Текстовый поток генерируется с использованием контейнера для app изображения и может генерировать сообщения.

Это подтверждается перемещением внутри контейнера kafka:

docker exec -it <CONTAINER ID of Kafka Image> /bin/bash

когда я вручную запускаю приведенный ниже скрипт внутри контейнера

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic Topic01 --from-beginning

Я вижу кусок текста, который создается.

Но когда я пытаюсь прочитать те же данные из контейнера изображения consumer, это дает мне пустое,

Метод пробовал:

docker exec внутри потребительского контейнера и запустил следующий код Python: 

from kafka import KafkaConsumer
consumer = KafkaConsumer('Topic01', bootstrap_servers='kafka:9092')
for messages in consumer:
        print(messages)

Он ничего не печатает.

Это потому, что мой файл docker-compose неправильный или ошибка в коде python?

1 Ответ

1 голос
/ 28 мая 2019

Согласно документации Kafka для слушателей:

Список слушателей - разделенный запятыми список URI, которые мы будем прослушивать, и имена слушателей.Если имя прослушивателя не является протоколом безопасности, необходимо также указать listener.security.protocol.map.Укажите имя хоста как 0.0.0.0 для привязки ко всем интерфейсам. Оставьте имя хоста пустым для привязки к интерфейсу по умолчанию .Примеры легальных списков слушателей: PLAINTEXT: // myhost: 9092, SSL: //: 9091 CLIENT: //0.0.0.0: 9092, REPLICATION: // localhost: 9093

Вы настраиваете *От 1009 * до PLAINTEXT://:9092, поэтому он привязывается к интерфейсу по умолчанию, который может быть недоступен снаружи вашего контейнера Kafka (в то же время он отлично работает с консольным потребителем, использующим localhost).Попробуйте и укажите KAFKA_LISTENERS как PLAINTEXT://0.0.0.0:9092, чтобы проверить, начинает ли потребитель потреблять сообщения.

...