AzCopy с запланированной задачей и последствиями файла журнала - PullRequest
0 голосов
/ 07 мая 2019

Я собираюсь создать запланированную задачу Windows, которая будет запускать каждые 3 часа копирование файлов с управляемого диска Azure в контейнер файлов Azure с использованием AzCopy v8 (v10 еще находился в режиме предварительного просмотра, когда этот проект запускался).

Мой план состоит в том, чтобы исключить более старые файлы (флаг "/ XO"), чтобы копировались только новые файлы.

У меня есть некоторые опасения, что мой подход может работать некорректно в 2 конкретных сценариях, и я надеюсь, что кто-то сможетсоветовать:

1) Если передача файла ранее не удалась и файл был неполным в контейнере файлов Azure, этот неполный / поврежденный файл будет передан и завершен при повторном запуске AzCopy с использованием флага "/ XO", когдапредыдущий файл журнала существует?

2) При повторном запуске команды AzCopy, когда предыдущая команда не была выполнена (т. Е. Файл журнала существует), AzCopy завершит любые файлы в файле журнала и отправит все новые файлы, которые не были выполнены.существует при создании исходного файла журнала?

1 Ответ

0 голосов
/ 24 мая 2019

AzCopy V10 ведет журналы сбоев в папке% USERPROFILE.azcopy в Windows и в папке $ HOME.azcopy в Mac и Linux.О любом сбое в сценарии будет сообщено там.Дайте мне знать, что вы видите там

Соответствующий файл задания для каждого журнала (который содержит сбой) хранится в подпапке с именем «планы».Может повторно выполнить задание, соответствующее журналу сбоя.В этом разделе текущей документации по AzCopy V10 описан этот рабочий процесс - https://docs.microsoft.com/en-us/azure/storage/common/storage-use-azcopy-v10?toc=%2fazure%2fstorage%2fblobs%2ftoc.json#troubleshooting.

Что касается копирования только новых файлов.Оптимальный подход AzCopy V10 к этому.Возможно, в файле задания есть информация о том, что делать.Вы всегда можете скопировать один и тот же набор файлов снова и использовать флаг –overwrite = false, чтобы избежать перезаписи существующих файлов.

Дополнительная информация: если файл журнала уже существует, то AzCopy возобновляет операцию на основе файла журналаЭто означает, что он возобновит с того места, где остановился.Если вы используете XO и удалите журнал, он проверит все загружаемые файлы, если их дата изменения изменилась, он не будет загружен.Надеюсь, это поможет.

...