Получить заголовки кафки в спарк 2.4.X

Question

Как получить поля заголовка Kafka (которые были введены в Kafka 0.11+) в Spark Structured Streaming?

Я вижу, что реализация заголовков добавлена ​​в Spark 3.0, но не в 2.4.5. И я вижу, что по умолчанию spark- sql -kafka-0-10 использует kafka-client 2.0.

Если невозможно прочитать заголовки Kafka с помощью Spark, то можете ли вы предложить какую-либо альтернативу?

Answer 1

Я не нашел способа сделать это в spark 2.X. можно использовать Kafka connect SMT, если случай использования прост