Apache Beam / Google Dataflow - экспорт данных из хранилища данных Google в файл в облачном хранилище

Question

Мне нужно создать файл отчета по запросу пользователя.Каждый пользователь выбирает фильтр для файлового отчета, и мое приложение должно сгенерировать файл в облачном хранилище и отправить уведомление с созданной ссылкой на файл.

Это рабочий процесс приложения:

1. клиент выбирает фильтр и запрашивает файл отчета
2. Приложение получает этот запрос и создает запись в хранилище данных с даннымио выбранном пользователем фильтре
3. Сохраняет безопасную строку URL ключа хранилища данных из новой записи в pubsub.
4. Конвейер потока данных считывает ключ, хранящийся в PubSub.
5. Создание файла в облачном хранилище Google
6. Уведомление клиента с помощью URL-адреса файла хранилища

Можно ли создать файл для каждого входа в pubsub?

Как мне создать файл с произвольным именем?

Правильно ли эта архитектура?

Answer 1

Ваш вариант использования звучит так, как если бы он был более применим к облачному хранилищу Google, чем к облачному хранилищу данных.Облачное хранилище Google предназначено для непрозрачных файловых сгустков данных и предоставляет метод для получения уведомлений pubsub об обновлениях файлов https://cloud.google.com/storage/docs/pubsub-notifications.

Однако, немного неясно, почему вы используете косвенное обращение к pubsub ихранилище данных в этом случае.Может ли сервер, обрабатывающий клиентский запрос, вместо этого напрямую позвонить в API облачного хранилища Google?