Node.js + Kafka + AWS

Question

Я настроил Kafka для архитектуры AWS.

Теперь мне нужно локально, на моем ПК, создать сценарий в Node.js, который позволил бы мне отправить сообщение производителю Kafka.

А теперь самое сложное: я пробовал разные библиотеки, такие как kafka-node, kafkajs, но, насколько я понимаю, это работает только в том случае, когда kafka не на не облачном сервере.Кроме того, я пытался поиграть с aws-sdk, но я не вижу там никакой возможности отправить какое-либо сообщение производителю.

Есть ли у вас какие-либо идеи, как их использовать и как их настроить?поток локальный -> aws env с ключом .pem-> производитель kafka?

Заранее спасибо!

Answer 1

это работает только в том случае, если kafka не на не облачном сервере

Это, вероятно, ложное предположение. Непонятно, используете ли вы Amazon MSK, но даже там не используются файлы .pem, и aws-sdk не является приложением-производителем Kafka.

В большинстве случаев достаточно просто указать, что ваш кластер Kafka настроен с правильным значением advertised.listeners, а ваш производитель (и пользователь) использует внешний адрес bootstrap.servers.