Я новичок в elasticsearch, поэтому, пожалуйста, учтите, что вопрос может показаться немного наивным. У нас есть требование, при котором данные с одной стороны отправляются в elasticsearch из Kafka (Kafka-1).
У нас есть другая команда, у которой нет доступа к Kafka-1, и им нужно получать дополнительные данные из elasticsearch и хотите использовать sh в Kafka-2 для других требований к конвейеру.
Похоже, мы не можем достичь этого с помощью семейства beats.
Вероятно, мы можем отслеживать временную метку и искать elasticsearch на основе этой отметки времени. Теперь у меня есть 2 сомнения.
- как это повлияет на производительность инкрементного извлечения данных, учитывая большой объем данных
- также есть ли способ получить доступ к elasticsearch отметка времени вставки, так как в этом случае мы не можем полагаться на время в Kafka-1
Здесь основное внимание уделяется производительности, и мы, вероятно, будем использовать ELasticsearch> 7
Если есть какие-либо предложите альтернативный способ.