Операции с базой данных или вызовы http с использованием kafka

Question

Я новичок в Apache Kafka.У меня есть несколько вопросов?если вы создаете тему с использованием производителя Kafka, а потребитель Kafka получил сообщение

consumer.on('message', function (message) {
})

, например, если я хочу отправить данные в какую-либо БД или вызвать API для обновления моей БД, лучше лисделать все кодирование внутри метода consumer.on

 consumer.on('message', function (message) {
    let data = await getPayload();//get payload
    //console.log(data,'data')
    //pause(topic,0); //pause until the prev request is completed
    request({
        url: process.env.API + '/some-api',
        method: 'POST',
        json: true,
        body: data
      }, function(err, response, body) {
        if (err) {
          console.error('got error', err);
          //resume(topic,0); resume when err/response recived 
        } else {
          // console.log('response', response);
          console.log('body', body);
          //resume(topic,0);
        }
    });
  })

Есть ли альтернативные или рекомендуемые методы?

Answer 1

При использовании kafka и загрузке его в любой приемник, например, в БД в вашем случае, вы должны знать, как обрабатывать любые сбои, точно одну семантику и т. Д. Уже есть доступный соединитель приемника базы данных (ссылка ниже), вы можете проверить, соответствует ли он вашим требованиям

Кафка-подключения-* 1004 JDBC *