Как использовать сообщения от Apache Kafka, стороннего поставщика услуг AWS

Question

У нас есть сторонний производитель Apache Kafka, который находится в помещении.Нам нужно прочитать сообщение от стороннего компонента kafka в AWS с использованием сервисов AWS и запуска функции лямбда-выражения.Какой подход следует использовать для получения сообщения от kafka в AWS

Answer 1

У вас есть несколько вариантов. Вы можете просто планировать лямбда-звонок каждые несколько секунд и читать тему кафки, используя ваш любимый язык. Это довольно просто, и в зависимости от объема данных, которые вы получаете, это может быть достаточно хорошим.

Кроме того, вы можете установить предоставленный сообществом разъем kafka для лямбды и просто вызывать лямбду напрямую.

Или вы можете использовать соединитель awslabs kafka для Kinesis , который передает сообщения от Kafka в потоки данных Kinesis или пожарный шланг kinesis, где вы можете использовать лямбда нативно.