прямой поток kafka и seekToEnd

Question

В моей работе Spark я инициализирую поток Kafka с KafkaUtils.createDirectStream.

Я прочитал о seekToEnd методе для Consumer. Как я могу применить это к потоку?

Answer 1

spark-kafka транзитивно включает в себя kafka-клиентов, поэтому вы можете инициализировать необработанный экземпляр потребителя самостоятельно и искать его

В качестве альтернативы, если группа потребителей не существует, вы должны установить startingOffsets=latest в ваша конфигурация Spark

примечание: API Kafka Direct Stream устарел начиная с Spark 2.4, и вы должны использовать вместо него структурированную потоковую передачу