производитель node-rdkafka не получает событие «ready» - PullRequest
Новая
       47

производитель node-rdkafka не получает событие «ready»

2 голосов
/ 13 июня 2019

Я пытаюсь настроить продюсера для отправки сообщений, используя node-rdkafka, в службу потока событий в IBM Cloud, однако мне не удалось получить событие «ready» обратно с сервера.

У меня был день, когда я пытался это выяснить, и я уверен, что все сводится к моей конфигурации Продюсера, но, насколько я могу судить, я понял это правильно.

Я запускаю это из Ubuntu 19.04, используя node-rdkafka для создания продюсера.Я запускаю это с Node 10.15.2

Спасибо за любые предложения, которые вы можете дать. 



var Kafka = require('node-rdkafka');

var producer = new Kafka.Producer({
    'debug' : 'all',
    'metadata.broker.list': 'kafka03-prod02.messagehub.services.eu-gb.bluemix.net:9093',
    'dr_cb': true, //delivery report callback
    'security.protocol': 'sasl_ssl',
    'ssl.ca.location': '/etc/ssl/certs/',
    'sasl.mechanisms': 'PLAIN',
    'sasl.username': '<credential username>',
    'sasl.password': '<credential password>',
    'retries': 10,
    'retry.backoff.ms': 10000
});

var topicName = '<my-topic>';

//logging debug messages, if debug is enabled
producer.on('event.log', function(log) {
    console.log(log);
});

//logging all errors
producer.on('event.error', function(err) {
    console.error('Error from producer');
    console.error(err);
});

//counter to stop this sample after maxMessages are sent
var counter = 0;
var maxMessages = 10;

producer.on('delivery-report', function(err, report) {
    console.log('delivery-report: ' + JSON.stringify(report));
    counter++;
});

//Wait for the ready event before producing
producer.on('ready', function(arg) {
    console.log('producer ready.' + JSON.stringify(arg));

    for (var i = 0; i < maxMessages; i++) {
        var value = Buffer.from('value-' +i);
        var key = "key-"+i;
        // if partition is set to -1, librdkafka will use the default partitioner
        var partition = -1;
        var headers = [
            { header: "header value" }
        ]
        producer.produce(topicName, partition, value, key, new Date(), "". headers);
    }

    //need to keep polling for a while to ensure the delivery reports are received
    var pollLoop = setInterval(function() {
        producer.poll();
        if (counter === maxMessages) {
            clearInterval(pollLoop);
            producer.disconnect();
        }
    }, 1000);

});

producer.on('disconnected', function(arg) {
    console.log('producer disconnected. ' + JSON.stringify(arg));
});

//starting the producer
producer.connect();

Я включил некоторые выдержки из журнала ниже, откуда это выглядит, как будто это терпит неудачу. 

{ severity: 7,
  fac: 'BROKERFAIL',
  message:
   '[thrd:sasl_ssl://kafka03-prod02.messagehub.services.eu-gb.bluemix.net]: sasl_ssl://kafka03-prod02.messagehub.services.eu-gb.bluemix.net:9093/bootstrap: failed: err: Local: Broker handle destroyed: (errno: Operation now in progress)' }
{ severity: 7,
  fac: 'STATE',
  message:
   '[thrd:sasl_ssl://kafka03-prod02.messagehub.services.eu-gb.bluemix.net]: sasl_ssl://kafka03-prod02.messagehub.services.eu-gb.bluemix.net:9093/bootstrap: Broker changed state CONNECT -> DOWN' }
{ severity: 7,
  fac: 'BROADCAST',
  message:
   '[thrd:sasl_ssl://kafka03-prod02.messagehub.services.eu-gb.bluemix.net]: Broadcasting state change' }
{ severity: 7,
  fac: 'BUFQ',
  message:
   '[thrd:sasl_ssl://kafka03-prod02.messagehub.services.eu-gb.bluemix.net]: sasl_ssl://kafka03-prod02.messagehub.services.eu-gb.bluemix.net:9093/bootstrap: Purging bufq with 0 buffers' }
{ severity: 7,
  fac: 'BUFQ',
  message:
   '[thrd:sasl_ssl://kafka03-prod02.messagehub.services.eu-gb.bluemix.net]: sasl_ssl://kafka03-prod02.messagehub.services.eu-gb.bluemix.net:9093/bootstrap: Updating 0 buffers on connection reset' }
{ severity: 7,
  fac: 'TERM',
  message:
   '[thrd:sasl_ssl://kafka03-prod02.messagehub.services.eu-gb.bluemix.net]: sasl_ssl://kafka03-prod02.messagehub.services.eu-gb.bluemix.net:9093/bootstrap: Received TERMINATE op in state DOWN: 1 refcnts, 0 toppar(s), 0 active toppar(s), 0 outbufs, 0 waitresps, 0 retrybufs' }
{ severity: 7,
  fac: 'BROKERFAIL',
  message:
   '[thrd:sasl_ssl://kafka03-prod02.messagehub.services.eu-gb.bluemix.net]: sasl_ssl://kafka03-prod02.messagehub.services.eu-gb.bluemix.net:9093/bootstrap: failed: err: Local: Broker handle destroyed: (errno: Operation now in progress)' }
{ severity: 7,
  fac: 'FAIL',
  message:
   '[thrd:sasl_ssl://kafka03-prod02.messagehub.services.eu-gb.bluemix.net]: sasl_ssl://kafka03-prod02.messagehub.services.eu-gb.bluemix.net:9093/bootstrap: Client is terminating' }
{ severity: 7,
  fac: 'BUFQ',
  message:
   '[thrd:sasl_ssl://kafka03-prod02.messagehub.services.eu-gb.bluemix.net]: sasl_ssl://kafka03-prod02.messagehub.services.eu-gb.bluemix.net:9093/bootstrap: Purging bufq with 0 buffers' }
{ severity: 7,
  fac: 'BUFQ',
  message:
   '[thrd:sasl_ssl://kafka03-prod02.messagehub.services.eu-gb.bluemix.net]: sasl_ssl://kafka03-prod02.messagehub.services.eu-gb.bluemix.net:9093/bootstrap: Updating 0 buffers on connection reset' }
{ severity: 7,
  fac: 'TERMINATE',
  message:
   '[thrd::0/internal]: :0/internal: Handle is terminating in state DOWN: 1 refcnts (0x7f6d1402e4b0), 0 toppar(s), 0 active toppar(s), 0 outbufs, 0 waitresps, 0 retrybufs: failed 0 request(s) in retry+outbuf' }
{ severity: 7,
  fac: 'BROKERFAIL',
  message:
   '[thrd::0/internal]: :0/internal: failed: err: Local: Broker handle destroyed: (errno: Success)' }
{ severity: 7,
  fac: 'BUFQ',
  message:
   '[thrd::0/internal]: :0/internal: Purging bufq with 0 buffers' }
{ severity: 7,
  fac: 'BUFQ',
  message:
   '[thrd::0/internal]: :0/internal: Updating 0 buffers on connection reset' }

Process finished with exit code 0

1 Ответ

0 голосов
/ 13 июня 2019

Похоже, вам не хватает свойства ssl.ca.location в конфигурации клиента.

Это должно быть указано в том месте, где в вашей системе хранятся ЦС.

Например:

  • В macOS: /etc/ssl/cert.pem
  • Ubuntu: /etc/ssl/certs/
  • Red Hat: /etc/pki/tls/cert.pem

Если выВы еще не видели его, на Github.com есть пример приложения для потоков событий, демонстрирующий, как использовать node-rdkafka.

Вы можете увидеть все необходимые конфигурации в этот фрагмент : 

var driver_options = {
    //'debug': 'all',
    'metadata.broker.list': opts.brokers,
    'security.protocol': 'sasl_ssl',
    'ssl.ca.location': opts.calocation,
    'sasl.mechanisms': 'PLAIN',
    'sasl.username': 'token',
    'sasl.password': opts.api_key,
    'broker.version.fallback': '0.10.0',  // still needed with librdkafka 0.11.6 to avoid fallback to 0.9.0
    'log.connection.close' : false
};
...