Синхронизация в реальном времени c между AWS S3 bucket и google cloud storage bucket

Question

У меня есть AWS s3 ведро, где я получаю несколько файлов паркета каждые минуты после выполнения какой-либо операции в AWS пожарном рукаве. Теперь я должен сделать синхронизацию этих файлов в реальном времени c с облачным хранилищем GCP, так как у нас многооблачная среда, и в облаке GCP будет происходить дальнейший процесс. Но у меня проблема в том, как я могу в реальном времени синхронизировать c между двумя облачными корзинами так, чтобы, как только любой файл достигал AWS s3, в это же время он попадал и в корзину GCP. Любые входные данные, пожалуйста

Answer 1

Если вы в буквальном смысле имеете в виду, что обновления происходят на S3 и GCS атомарно, это невозможно. Лучшее, что вы можете сделать, - это получить задание, которое будет получать уведомления о завершении обновлений на одном и инициировать копирование на другом. Вам нужно приложить некоторые усилия, чтобы сделать работу надежной в отношении временных сбоев.