Задержки при загрузке архивов в Amazon Glacier с использованием boto3 из коробки NAS - PullRequest
2 голосов
/ 10 ноября 2019

Я пытаюсь сделать резервную копию локальных файлов в Amazon Glacier, используя библиотеку Python boto3 на моем NAS-устройстве (Zyxel NAS326 под управлением Python 3.7 на entware-ng). Хотя это обычно работает, я обнаружил, что скорость загрузки очень низкая. Чтобы исключить общие проблемы с сетевым хранилищем или подключением к Интернету, я сделал следующее:

  • Запуск программы резервного копирования на настольном компьютере: максимальная скорость загрузки
  • Загрузка файлав Интернет из моего сетевого хранилища с использованием FTP: максимальная скорость загрузки

На моем маршрутизаторе я мог видеть, что есть только короткие пики исходящих данных, за которыми следуют длинные задержки.

Длясузить проблему, я вошел в файл доступа во время загрузки. Это показало, что нет задержки чтения с диска, но во время отправки данных через соединение HTTPS. Оказалось, что из файла читается кусок данных (обычно около 9 МБ), затем происходит короткое действие в интернет-соединении, затем задержка не менее 10 секунд, прежде чем из файла будет прочитано больше данных. Таким образом, кажется, что соединение каким-то образом блокирует загрузку, но я понятия не имею, почему или что я мог с этим поделать.

Кто-нибудь видел такое поведение раньше или есть идеи, что еще я мог бы попробовать?

...