MLflow экономит вес после каждой эпохи

Question

Я тестировал несколько небольших примеров с отслеживанием MLflow, но для моего варианта использования я хотел бы сохранять веса после каждой эпохи. Иногда я убиваю прогоны до того, как они полностью завершены (я не могу использовать ранний останов), но сейчас я вижу, что веса не сохраняются на сервере пользовательского интерфейса отслеживания. Есть ли способ сделать это после каждой эпохи?

Answer 1

Сохраните веса на диск, а затем зарегистрируйте их как артефакт. Пока контрольные точки / веса сохраняются на диске, вы можете регистрировать их с помощью mlflow_log_artifact() или mlflow_log_artifacts(). Из docs ,

mlflow.log_artifact () регистрирует локальный файл или каталог как артефакт, необязательно выбирая artifact_path для помещения его в пределахURI артефакта запуска. Артефакты запуска могут быть организованы в каталоги, поэтому вы можете поместить артефакт в каталог следующим образом.

mlflow.log_artifacts () регистрирует все файлы в данном каталоге как артефакты, снова принимаянеобязательный путь к артефакту.