Я работаю над проектом, который берет резервные копии базы данных из MongoDB на S3 и помещает их в промежуточный ящик для использования на тот день. Я заметил, что во время ручного запуска сегодня я получил этот вывод. Обычно он показывает хорошую копию каждого файла, но сегодня я получил ошибку сброса соединения или что-то, что один из файлов, * .15, не был скопирован после завершения операции.
Вот команда AWS CLI, которую я использую:
aws s3 cp ${S3_PATH} ${BACKUP_PRODUCTION_PATH}/ --recursive
А вот отрывок из вывода, который я получил:
download: s3://myorg-mongo-backups-raw/production/daily/2018-09-10/080001/data/s-ds063192-a1/myorg-production/myorg-production.10
to ../../data/db/myorg-production/myorg-production.10
download: s3://myorg-mongo-backups-raw/production/daily/2018-09-10/080001/data/s-ds063192-a1/myorg-production/myorg-production.11
to ../../data/db/myorg-production/myorg-production.11
download: s3://myorg-mongo-backups-raw/production/daily/2018-09-10/080001/data/s-ds063192-a1/myorg-production/myorg-production.12
to ../../data/db/myorg-production/myorg-production.12
download: s3://myorg-mongo-backups-raw/production/daily/2018-09-10/080001/data/s-ds063192-a1/myorg-production/myorg-production.13
to ../../data/db/myorg-production/myorg-production.13
download s3://myorg-mongo-backups-raw/production/daily/2018-09-10/080001/data/s-ds063192-a1/myorg-production/myorg-production.14
to ../../data/db/myorg-production/myorg-production.14
download failed: s3://myorg-mongo-backups-raw/production/daily/2018-09-10/080001/data/s-ds063192-a1/myorg-production/myorg-produc
tion.15 to ../../data/db/myorg-production/myorg-production.15 ("Connection broken: error(104, 'Connection reset by peer')", error
(104, 'Connection reset by peer'))
download: s3://myorg-mongo-backups-raw/production/daily/2018-09-10/080001/data/s-ds063192-a1/myorg-production/myorg-production.16
to ../../data/db/myorg-production/myorg-production.16
Как я могу убедиться, что данные с данного пути S3 были полностью скопированы на целевой путь без проблем с подключением, отсутствующих файлов и т. Д.? Является ли команда sync для инструмента AWS лучшим вариантом? Или я должен попробовать что-то еще?
Спасибо!