Если вы должны хранить данные на S3 в качестве авторитетного источника, то я думаю, что ваш текущий план, вероятно, лучший. Если вы можете использовать GCS в качестве своего дома для данных, это, очевидно, облегчит задачу для этой конкретной задачи.
API Google Cloud хотят иметь простой и быстрый доступ к данным (а не пытаться их извлекать) вниз от некоторого удаленного сервиса, такого как S3). Это означает, что единственное разумное место для хранения этих данных (с точки зрения Google) - это GCS.
Служба переноса Google Cloud Storage, безусловно, является правильным вариантом и позволяет планировать повторяющиеся передачи, если это имеет смысл для вашего использовать случай или инициировать одноразовые переводы по требованию. В случае S3 в качестве источника данных вы также можете применять фильтры для включения или исключения (например, префиксы каталогов) и ограничения передачи на основе времени их последнего изменения (как сообщает S3).
Выше вы можете увидеть, как фильтровать файлы для передачи по префиксу, а также только те файлы, которые были изменены за последние 24 часа.