Структурированный поток Apache Spark с Google PubSub

Question

Я использую Spark Dstream для извлечения и обработки данных из Google PubSub.

Я ищу способ перехода к структурированной потоковой передаче, но все еще использую Pub / Sub.

ТакжеЯ должен упомянуть, что мои сообщения Snappy сжимаются в Pub / Sub.

Я обнаружил эту проблему, которая утверждает, что использование Pub / Sub со структурированной потоковой передачей не поддерживается.

Кто-то сталкивался с этой проблемой?Можно ли реализовать собственный Receiver для чтения данных из Pub / Sub

Спасибо

Answer 1

Запрос функции , на который вы ссылались, все еще точен: Cloud Pub / Sub не имеет концепции смещения для отслеживания вашей позиции чтения, поэтому структурированная потоковая передача с Cloud Pub / Sub не поддерживается.