Развертывание моделей машинного обучения - управление версиями данных

Question

Предположим, у нас есть конвейер Publi sh в главной ветви репозитория, размещенного на Microsoft Azure. Когда в этой ветви выполняется запрос на включение, автоматически создается артефакт. При нажатии на артефакт мы видим окно «Provenance», которое показывает точную фиксацию кода, использованного для публикации sh артефакта (см. Изображение ниже). введите описание изображения здесь

Теперь предположим, что артефакт построен с использованием не только кода, но и некоторых тяжелых данных. Это случай моделей машинного обучения, которые создаются с помощью обучающего кода и обучающих данных. Я хочу иметь возможность связать обе версии с артефактом (модель машинного обучения), который в идеале создается автоматически после PR на мастере.

В настоящее время я загружаю артефакт вручную, поэтому не только Мне не хватает идентификатора данных, используемых для создания модели машинного обучения, но также не хватает идентификатора фиксации кода.

Есть ли способ Azure автоматически создавать (тяжелый) артефакт? Есть ли способ отслеживать идентификатор кода и данных, используемых для создания артефакта? Полагаю, мне понадобится система управления версиями данных + хранилище. Предоставляются ли они Azure?

Answer 1

Есть ли способ на Azure автоматически создавать (тяжелый) артефакт? Есть ли способ отслеживать идентификатор кода и данные, используемые для создания артефакта? Полагаю, мне понадобится система управления версиями данных + хранилище. Предоставляются ли они Azure?

Если я правильно понимаю, вы можете попробовать использовать универсальный пакет для упаковки этих файлов json как артефактов.

В качестве теста, мы могли бы использовать задачу универсальных пакетов для создания и публикации sh артефакта:

After the build complete, we could get the artifact in our feed:

You could check this document Publi sh и загрузки универсальных пакетов в Azure конвейерах и Универсальные пакеты с Azure артефактами DevOps для некоторых деталей.