Я пытаюсь выяснить, есть ли на GCP сервис, который позволял бы использовать поток из Pub / Sub и дамп / пакетные данные в файлы в облачном хранилище (например, каждые X минут).Я знаю, что это можно реализовать с помощью Dataflow, но я ищу более «готовое» решение, если таковое существует.
Например, это то, что можно сделать с помощью AWS Kinesis Firehose - исключительно на уровне конфигурации - можно указать AWS периодически выгружать все накопленное в потоке в файлы на S3или когда накопленные данные достигают некоторого размера.
Причина этого заключается в том, что - когда не требуется обработка потока, а требуется только накопление данных - я хотел бы минимизировать дополнительные расходы:
- создание пользовательского программного обеспечения, даже простого, если его можно полностью избежать
- использование дополнительных вычислительных ресурсов для его выполнения
Чтобы избежать путаницы - я 'Я не ищу бесплатное решение, но оптимальное.