Я пишу DStream в Elasticsearch, используя соединитель Elasticsearch-Hadoop.По этой ссылке вы можете найти коннекторКафка.Поскольку JavaEsSpark.saveToEs вставляет документы, как в пакетном режиме, я не могу отслеживать свои документы.
Мой основной код ниже.Есть ли мнение?
dstream.foreachRDD((items, time) -> {
JavaEsSpark.saveToEs(items,"myindex/mytype");
//wait until all the documents written
//do somehing else then return (actually the job is committing kafka offsets)
});