Обновление отслеживаемого каталога в DVC - PullRequest
Новая
       53

Обновление отслеживаемого каталога в DVC

2 голосов
/ 24 мая 2019

Согласно этому руководству , когда я обновляю файл, я должен сначала удалить файл из-под контроля DVC (т.е. выполнить dvc unprotect <myfile>.dvc или dvc remove <myfile>.dvc), а затем добавить его снова через dvc add <mifile>.Однако не ясно, следует ли мне применять тот же рабочий процесс для каталогов.

У меня есть каталог под управлением DVC со следующей структурой: 

data/
    1.jpg
    2.jpg

Должен ли я каждый раз запускать dvc unprotect dataсодержимое каталога обновлено?

Более конкретно, мне интересно, должен ли я запускать dvc unprotect data в следующих случаях использования:

  • Добавлен новый файл. Например, если я помещаю 3.jpg изображение в каталог данных
  • Файл удаляется. Например, если я удаляю 2.jpg изображение в data каталог
  • Файл обновлен. Например, если я редактирую 1.jpg изображение с помощью графического редактора.
  • Сочетание предыдущих вариантов использования (то есть некоторые файлы обновлены, другие удалены и новые файлыдобавлено)

1 Ответ

2 голосов
/ 24 мая 2019

Только при обновлении файла - т.е. редактировать 1.jpg с помощью вашего редактора И только если включен тип кэша hadrlink или символической ссылки.

Пожалуйста, проверьте эту ссылку :

обновление отслеживаемых файлов должно выполняться с осторожностью, чтобы избежать повреждения данных, если для параметра конфигурации DVC cache.type задано значение hardlink или / и symlink

Я бы настоятельно рекомендовал прочитать этот документ: Оптимизация производительности для больших файлов объясняет преимущества использования жестких ссылок / символических ссылок.

...