Я впервые использую pyspark.
Версия Spark: 2.3.0
Версия Kafka: 2.2.0
У меня есть производитель кафки, который отправляет вложенные данные в формате avro, и я пытаюсь написать код в потоковой / искровой / структурированной потоковой передаче в pyspark, который десериализует поступающее из kafka avro в dataframe, а преобразования записывают его в формате паркета в s3 ,
Мне удалось найти avro конвертеры в spark / scala, но поддержка в pyspark еще не добавлена. Как мне конвертировать то же самое в pyspark.
Спасибо.