Синхронизация aws s3 в папке размером 7 ТБ навсегда зависает - PullRequest
Новая
       39

Синхронизация aws s3 в папке размером 7 ТБ навсегда зависает

0 голосов
/ 01 июня 2018

Я пытаюсь синхронизировать около 7 ТБ от экземпляра не EC2 к S3.Таким образом, мне удалось синхронизировать папку на 500 ГБ примерно за 3 часа.Что очень хорошо.

Однако сейчас я пытаюсь синхронизировать папку размером 7 ТБ, и она просто застревает.Прошло уже 1 час, и журналы отладки застряли здесь: 

2018-06-01 18:05:05,983 - MainThread - botocore.args - DEBUG - The s3 config key is not a dictionary type, ignoring its value of: None
2018-06-01 18:05:05,987 - MainThread - botocore.endpoint - DEBUG - Setting s3 timeout as (60, 60)
2018-06-01 18:05:05,989 - MainThread - botocore.client - DEBUG - Registering retry handlers for service: s3
2018-06-01 18:05:05,989 - MainThread - botocore.client - DEBUG - Defaulting to S3 virtual host style addressing with path style addressing fallback.
2018-06-01 18:05:05,990 - MainThread - awscli.customizations.s3.s3handler - DEBUG - Using a multipart threshold of 8388608 and a part size of 8388608
2018-06-01 18:05:05,990 - MainThread - botocore.hooks - DEBUG - Event choosing-s3-sync-strategy: calling handler <bound method SizeOnlySync.use_sync_strategy of <awscli.customizations.s3.syncstrategy.sizeonly.SizeOnlySync object at 0x7f5f42a9acd0>>
2018-06-01 18:05:05,990 - MainThread - botocore.hooks - DEBUG - Event choosing-s3-sync-strategy: calling handler <bound method ExactTimestampsSync.use_sync_strategy of <awscli.customizations.s3.syncstrategy.exacttimestamps.ExactTimestampsSync object at 0x7f5f42a9a790>>
2018-06-01 18:05:05,990 - MainThread - botocore.hooks - DEBUG - Event choosing-s3-sync-strategy: calling handler <bound method DeleteSync.use_sync_strategy of <awscli.customizations.s3.syncstrategy.delete.DeleteSync object at 0x7f5f42a9aa50>>

Есть ли у Кли проблемы с перечислением всех файлов и умирает?

...