Можно ли получить данные из Azure EventHub topi c из Apache Beam / Google Cloud Dataflow?

Question

Проблема

Мы хотели бы использовать из EventHub topi c в Azure, используя конвейер потока данных в Google Cloud.

Вопрос

Известно ли, позволяет ли KafkaIO использовать ресурсы EventHubs непосредственно в задании потока данных Apache Beam / Google Cloud? (см. этот пост )

Также приветствуются альтернативные подходы для передачи данных EventHub в Pub / Sub (например, Publi sh из Azure Streaming Analytics в Pub / Sub)

Спасибо!

Answer 1

Azure Концентраторы событий поддерживают протокол Apache Kafka 1.0 и более поздние версии , поэтому вы должны иметь возможность получать события из концентраторов событий, используя KafkaIO (который поддерживает версии Kafka 0.10 .1 и новее). В Google Cloud есть руководство по обработке сообщений от Kafka в Dataflow здесь .

Answer 2

Azure Концентраторы событий двоично совместимы с протоколом Kafka, поэтому любой клиент или конвейер Kafka должен иметь возможность получать события из концентраторов событий topi c.