Я использую Azure Базы данных для потоковой передачи некоторых данных в EventHubs с использованием spark, и пусть это действует как производитель. Когда я передаю данные с использованием данных Spark и JSON, Azure Eventhubs могут отображать данные на скриншотах ниже (выпадающий формат данных до JSON), и я могу перенаправить эти данные дальше в источник данных Druid Kafka, который действует как Потребитель.
Я пытаюсь выполнить те же действия с форматом данных AVRO, чтобы сериализовать данные в двоичном формате в pu sh для Eventhubs, который работает нормально, и я вижу действия, связанные с сообщениями / входящими запросами. Я использую функции Spark Avro to_avro, чтобы выполнить двоичную сериализацию перед отправкой данных в концентраторы событий. Когда конечный потребитель получал данные, Друид смог десериализовать данные, чтобы они правильно отображались в источнике данных друидов. Однако мне интересно, почему Azure Event HUb Select не может отображать те же данные в нижнем пользовательском интерфейсе, вместо этого он показывает, что «Source» имел 1 вхождение типа «InputDeserializerError.InvalidData» между периодами обработки '2020-04-24T15: 15: 02.8373917 Z 'и' 2020-04-24T15: 15: 02.8373917Z '. Неверный формат Avro, отбросьте недопустимую запись. "
Поскольку это AVRO, поэтому мне интересно, чего мне здесь не хватает. Это ошибка Azure Eventhubs в этом разделе, которая не может правильно отображать данные AVRO?
Есть мысли?
