Как быть уверенным, что все документы, написанные для интеграции Elasticsearch с использованием Elasticsearch-Hadoop Connector в потоковой передаче Spark - PullRequest
0 голосов
/ 27 сентября 2019

Я пишу DStream в Elasticsearch, используя соединитель Elasticsearch-Hadoop.По этой ссылке вы можете найти коннекторКафка.Поскольку JavaEsSpark.saveToEs вставляет документы, как в пакетном режиме, я не могу отслеживать свои документы.

Мой основной код ниже.Есть ли мнение?

    dstream.foreachRDD((items, time) -> {
        JavaEsSpark.saveToEs(items,"myindex/mytype");
        //wait until all the documents written
        //do somehing else then return (actually the job is committing kafka offsets)
});
...