Python, Kafka и Docker - KafkaConsumer продолжает висеть - PullRequest
Новая
       56

Python, Kafka и Docker - KafkaConsumer продолжает висеть

0 голосов
/ 11 октября 2019

У меня есть следующий файл docker-compose: 

  version: '3.1'

  services:
    postgres_db:
      image: postgres
      restart: always
      environment:
        POSTGRES_USER: admin
        POSTGRES_PASSWORD: admin
        POSTGRES_DB: default_db
      ports:
        - 54320:5432
    zookeeper:
      image: wurstmeister/zookeeper
      ports:
        - "2181:2181"
    kafka:
      image: wurstmeister/kafka
      ports:
        - "9092:9092"
      environment:
        KAFKA_ADVERTISED_HOST_NAME: kafka
        KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
        KAFKA_CREATE_TOPICS: "test:1:1"
      volumes:
        - /var/run/docker.sock:/var/run/docker.sock

После запуска с помощью docker-compose up - все выглядит нормально с вывода терминала. Я запускаю консоль python и запускаю следующие строки: 

kp = KafkaProducer(bootstrap_servers=['localhost:9092'],api_version=(0,10),
                         value_serializer=lambda x: 
                         dumps(x).encode('utf-8'))
kc = KafkaConsumer('test', bootstrap_servers=['localhost:9092'],api_version=(0,10),group_id=None,auto_offset_reset='earliest', 
                   value_deserializer=lambda json_data: json.loads(json_data.decode('utf-8')))
data = {"test":"test"}
kp.send(topic="test",value=data)
for message in kc:
    print(message.value)

Однако после запуска консоли просто зависает, и она выглядит как сообщение, которое было использовано / произведено. Есть идеи, что пошло не так? Спасибо!

1 Ответ

1 голос
/ 13 октября 2019

Либо вам нужно запустить свой код Python в контейнере и установить 

bootstrap_servers=['kafka:9092']

Или вам нужно рекламировать Kafka обратно клиентам на вашем хост-компьютере 

KAFKA_ADVERTISED_HOST_NAME: localhost

Вы можетеПрочтите wurstmeister README об использовании HOSTNAME_COMMAND, а также

. Я бы также рекомендовал запускать производителя и потребителя отдельно, когда вы их тестируете

...