Десериализация Avro из потоковой структуры искры

Question

Я пытаюсь использовать тему Kafka, которая была сериализована в Avro, и мне нужно выяснить, как ее десериализовать при использовании из приложения Spark Structure Streaming.

Примечание. Мне нужно решение на Python

spark = SparkSession\
    .builder\
    .appName("De-Serializing ")\
    .getOrCreate()

data = spark.readStream\
    .format("kafka")\
    .option("kafka.bootstrap.servers", "kafkahost:9092")\
    .option("subscribe", "my_topic")\
    .option("startingOffsets", "earliest")\
    .load()

# Do Stuff here

query = data.writeStream\
    .outputMode("append")\
    .format("console")\
    .option("truncate", "false")\
    .trigger(processingTime="5 seconds")\
    .start()\
    .awaitTermination()

Кто-нибудь может мне помочь?