Spark - структурированная потоковая кафка (динамическая c десериализация)

Question

Предположим, что мы подписываемся на 2 темы в потоке, одна topi c относится к avro, а другая к строке. Можно ли динамически десериализоваться на основе имени topi c?

Answer 1

Теоретически, да

Интерфейс Deserializer принимает имя topi c в качестве параметра, по которому можно выполнить проверку.

Однако, чтобы получить доступ к этому в Spark, вам понадобится ваша собственная оболочка UDF.

---

В конечном счете, я думаю, что было бы лучше, если бы вы определяли два потоковых кадра данных для каждой топи c другого формата или просто создавали строки в кодировке Avro.