Экспорт данных pubsub в хранилище объектов с использованием SCIO

Question

Я пытаюсь экспортировать потоки Cloud Pub / Sub в Cloud Storage, как описано в этом сообщении от Spotify Надежный экспорт потоков Cloud Pub / Sub в Cloud Storage или это сообщение от Google Простое резервное копированиеи воспроизведение потоковых событий с использованием Cloud Pub / Sub, Cloud Storage и Cloud Dataflow

PubSub создает неограниченное число PCollection (или SCollection в SCIO), но для saveastextfile требуется BoundedCollection.

Есть ли способ преодолеть это?

Answer 1

Новый модуль динамического ввода-вывода должен поддерживать сохранение неограниченной коллекции в файлы.

Однако обратите внимание, что подход, описанный в этой статье Spotify, не использует Dataflow, поскольку в нем много настраиваемой логики.по SLA / ведению / причинам надежности.Так что YMMV.