Я хочу сериализовать данные Avro в Kafka, используя Schema Registry, Spark SQL, Kafka и Avro.
Я пытался использовать метод to_avro, который принимает только параметр column. Я хочу использовать реестр schema для записи в Kafka данных Avro. Реестр схемы обычно возвращает идентификатор для идентификации схемы Avro.
Есть ли решение этой проблемы?