Я новичок в искре и упругом поиске. Для моего примера загрузите CSV из hdfs и обработайте через spark-sql и переместите набор результатов в экземпляр эластичного поиска. до сих пор я не столкнулся с какой-либо проблемой.
data.select($"EMPLOYEE_ID", $"FIRST_NAME", $"LAST_NAME",$"JOB_ID").
write.format("org.elasticsearch.spark.sql").mode(SaveMode.Overwrite).save("emp/data")
Я использую панель инструментов KIBANA для визуализации. После повторного запуска моего приложения spark я не смог увидеть последние данные, выведенные на панели управления kibana. Он показывает последние данные после выполнения «обновления индекса» вручную. Есть ли в любом случае сделать обновление данных кибана автоматически после обновления с эластичными данными