Я изучаю возможности использования Kafka и ElasticSearch для создания конвейера обработки данных.
Требование конвейера таково, что новые данные по мере их поступления сохраняются в ES, и это, в свою очередь, должно запускать конвейер.
Я видел несколько примеров с коннекторами Kafka, где Elasti c search (ES) является SINK потока. Я также видел примеры с ES как SOURCE - однако в таких случаях Kafka действует в более режиме опроса , чем изменения в запуске ES толкает к Кафке.
Я видел, что у ES есть некоторая концепция наблюдателей. Но с другой стороны, он также основан на некотором планировании на меньший период времени через директиву, называемую trigger .
Я хотел бы знать, есть ли какая-либо встроенная функция в ES, которая может публиковать sh в kafka при поступлении нового события, кроме концепций наблюдателя. Я хочу, чтобы события сразу запускались при обновлениях, и Кафке не приходилось время от времени опрашивать ES.
Одним из решений, которое я могу придумать, является загрузка данных непосредственно в Kafka и разделение их двумя способами: конвейер и ES SINK.
Best
Shabir