Я использовал to_avro для сериализации поля структуры в dataframe в 'value' и записи в тему kafka.
Моя структура имеет несколько строковых полей.Я проверил и все поля имеют значение.Используя Spark Streaming, я прочитал тему и использую from_avro для десериализации значения с точной схемой, которая использовалась для сериализации структуры.
select(from_avro($"value", schema).as("value"))
Возвращаемое значение - это поле структуры в результирующем фрейме данных.Тем не менее, всегда есть какое-то поле в структуре без значения.Только некоторые поля имеют правильное значение.
Может ли это быть ошибкой в to_avro / from_avro функциях или я их не правильно использовал?