Блокнот Databricks интегрировал местоположение и хранение артефактов mlflow

Question

1. В настоящее время по умолчанию при запуске записной книжки создается идентификатор эксперимента, но местоположение артефакта будет указывать на что-то в dbfs: / databricks / mlflow / {идентификатор эксперимента}.Если есть способ, которым мы можем изменить это при создании эксперимента по умолчанию?Нам нравится управлять хранилищем вне блоков данных.

2. Как долго будет TTL по умолчанию для экспериментов и метрик?Это настраивается и как?

Answer 1

Вы можете использовать mlflow_set_experiment('<PATH>'), чтобы указать, где вы хотите, чтобы ваши прогоны и все их содержимое были зарегистрированы.См. Документы здесь.

Если вы работаете с Databricks и хотите войти в определенное хранилище BLOB-объектов, вы можете смонтировать хранилище BLOB-объектов в файловую систему Databricks (DBFS) и укажите на него MLflow при настройке эксперимента.

Если вы говорите о том, чтобы запустить его в Databricks и напрямую регистрировать результаты локально, я не думаю, что вы сможете это сделать.Однако вы можете использовать GitHub и MLflow Projects для разработки на Databricks, а затем запускаться локально или наоборот.