Можно ли определить схему для тем Google Pub / Sub, как в Kafka, с помощью AVRO?

Question

Насколько я знаю, мы можем определять схемы AVRO на Kafka, и тема, определенная с помощью этой схемы, будет принимать только данные, соответствующие этой схеме. Это действительно полезно проверить структуру данных, прежде чем принимать в очередь.

Есть ли что-нибудь похожее в Google Pub / Sub?

Answer 1

Кафка сама по себе не проверяет схему, и поэтому в темах по сути нет схем, отличных от пары байтовых массивов плюс некоторые метаданные. Именно сериализатор является частью производящего клиента, который выполняет проверку до того, как данные попадают в тему. Точно так же в PubSub, в конце концов, он только хранит / отправляет byte[] данные.

Поэтому, теоретически, вполне возможно использовать что-то похожее на Confluent Avro Schema Registry на любом конце данных, которые перемещаются через PubSub. Google не предлагает такую ​​функцию, AFAIK, поэтому вам потребуется заново создать указанную службу, которая может выполнять ваши проверки совместимости Avro, а также связать клиента сериализации PubSub + продюсер с клиентом этой службы.

Может, хотите проверить Avro-сообщение для Google Cloud Pub-Sub?