Я хочу настроить Google Cloud Storage в качестве своего озера данных и использую поток данных Pubsub + для сохранения взаимодействий в нем. Dataflow создает новый файл каждые 5 минут, чтобы сохранить его в папке GCS. Это в конечном итоге приведет к большому количеству файлов в данной папке. Есть ли ограничения на количество файлов, которые можно сохранить в папке GCS?
Практических ограничений нет. Имейте в виду, что в облачном хранилище даже нет «папок». Есть только объекты с путями, чьи имена выглядят как папки, чтобы помочь вам организовать и перемещаться по всему этому контенту.