Ingest Streaming Data в Кафку через http

Question

Я новичок в Kafka и Streaming Data в целом. То, что я пытаюсь сделать, это принять данные, которые должны быть отправлены через http для kafka. Мои исследования привели меня к слиянию REST-прокси, но я не могу заставить его работать.

В настоящее время у меня есть kafka, работающий с одним узлом и одним брокером с kafkamanager в док-контейнерах.

К сожалению, я не могу запустить полную сливную платформу с докером, так как на моей машине недостаточно памяти.

По сути, мой вопрос таков: Как настроить среду разработки, в которой данные принимаются через kafka через http?

Любая помощь высоко ценится!

Answer 1

Для запуска одного брокера, zookeeper и схемы Kafka обычно достаточно 1 ГБ (в dev).

Если по какой-то причине вы не хотите использовать Confluent REST-прокси, вы можете написать свой собственный. Это довольно просто: «по запросу анализируйте входящий JSON, проверяйте данные, создавайте ваше сообщение (в Avro?) И отправляйте его в Kafka».

В этой статье вы найдете некоторые настройки для нажатия Kafka и ZK в памяти кучи: https://medium.com/@saabeilin/kafka-hands-on-part-i-development-environment-fc1b70955152

Здесь вы можете прочитать, как создавать / потреблять сообщения с помощью Python: https://medium.com/@saabeilin/kafka-hands-on-part-ii-producing-and-consuming-messages-in-python-44d5416f582e

Надеюсь, что это поможет!

Answer 2

Вам не нужна «полная Confluent Platform» (KSQL, Control Center, входит в комплект)

Zookeeper, Kafka, REST-прокси и, необязательно, реестр схем должны занимать всего до 4 ГБ ОЗУ. Если у вас его даже нет, вам нужно купить больше оперативной памяти.

Обратите внимание, что Zookeeper и Kafka не обязательно должны работать на тех же компьютерах, что и Registry Schema Registry или REST-прокси, поэтому, если у вас несколько компьютеров, вы также можете сохранить некоторые ресурсы таким же образом.