Я провел много исследований по этому вопросу, но до сих пор не могу найти что-то подходящее. Куда бы я ни пошел, я вижу, что самый простой способ - вызвать saveToEs(), а затем зафиксировать смещения после этого. У меня вопрос: а что если saveToEs() не получится по какой-то причине?
Как правильно хранить смещения в Kafka, когда мы используем потоковое задание Spark и храним наши документы в ES. Я пытался использовать BulkProcessorListener и сохранять смещения вручную (отслеживая отсортированные смещения и запросы, а что нет), но это вышло из-под контроля, и подход казался сложным для такой общей задачи.
Может ли кто-нибудь направить меня?
Любой, кто интересуется моим подходом, вот вопрос, который объясняет это Фиксация смещений для Кафки в Spark Executors