Опубликовать сообщение в облачном кластере Confluent с помощью kafka-python - PullRequest
Новая
       8

Опубликовать сообщение в облачном кластере Confluent с помощью kafka-python

0 голосов
/ 25 января 2019

Я использую пакет kafka-python для публикации сообщений в облачном кластере kafka.

Мой код выглядит следующим образом: 

    from kafka import KafkaProducer
    producer=KafkaProducer(
                    bootstrap_servers='pkc-epgnk.us-central1.gcp.confluent.cloud:9092',
                    security_protocol='SASL_SSL',
                    sasl_mechanism='PLAIN',
                    ssl_certfile='/usr/local/etc/openssl/cert.pem',
                    sasl_plain_username='[api_key]',
                    sasl_plain_password='[api_secret]')

    producer.prodcue(topic='file-ingestion',key=b'',value=b'test')

При выполнении кода выше я получаю сообщение об ошибке: 

kafka.errors.NoBrokersAvailable: NoBrokersAvailable

Руководство по слитному кафке предложило мне установить следующие значения для производителя C / C ++;однако я не могу установить все значения производителем kafka-python 

bootstrap.servers=pkc-epgnk.us-central1.gcp.confluent.cloud:9092
api.version.request=true
broker.version.fallback=0.10.0.0
api.version.fallback.ms=0
sasl.mechanisms=PLAIN
security.protocol=SASL_SSL
ssl.ca.location=/usr/local/etc/openssl/cert.pem
sasl.username=<CLUSTER_API_KEY>
sasl.password=<CLUSTER_API_SECRET>

1 Ответ

0 голосов
/ 26 января 2019

Вам, вероятно, следует использовать клиент confluent-kafka-python, чтобы установить эти свойства и обеспечить лучшую интеграцию и поддержку между продуктами

Пример кода из Github 

from confluent_kafka import Producer, Consumer

p = Producer({
    'bootstrap.servers': '<ccloud bootstrap servers>',
    'broker.version.fallback': '0.10.0.0',
    'api.version.fallback.ms': 0,
    'sasl.mechanisms': 'PLAIN',
    'security.protocol': 'SASL_SSL',
    'sasl.username': '<ccloud key>',
    'sasl.password': '<ccloud secret>'
})
...