Невозможно использовать путь HDFS для set_tracking_uri в mlflow в пределах python

Question

Я новичок в mlflow, поэтому могу неправильно понять, как все должно работать на фундаментальном уровне.

Однако, когда я пытаюсь сделать следующее:

TRACKING_URI = os.path.join(
    "hdfs://namenode/user/userid/",
    "mlflow",
    "anomaly_detection",
)
        
mlflow.set_tracking_uri(TRACKING_URI)
client = mlflow.tracking.MlflowClient(TRACKING_URI)

я получаю следующая ошибка:

UnsupportedModelRegistryStoreURIException:  Model registry functionality is unavailable; got unsupported URI 'hdfs://nameservice1/user/rxb427/mlflow/anomaly_detection' for model registry data storage. Supported URI schemes are: ['', 'file', 'databricks', 'http', 'https', 'postgresql', 'mysql', 'sqlite', 'mssql']. See https://www.mlflow.org/docs/latest/tracking.html#storage for how to run an MLflow server against one of the supported backend storage locations.

В приведенной выше ссылке, предоставленной ошибкой, говорится, что поддерживается hdfs. Ошибка или что-то не хватает?

Answer 1

Да, мы поддерживаем несколько типов хранилищ как для артефактов, так и для сущностей MLflow .

Вы можете использовать свое хранилище артефактов по умолчанию - root как hdfs и обратно -end-store как базу данных, совместимую с SQLAlchemy. Укажите эти аргументы как часть

`mlflow server --default- root -artifact-store URI --backend-store URI --host 0.0.0.0

В коде клиента MLfow установить: mlflow.set_tracking_uri (host_uri)

Answer 2

Хорошо. Таким образом, похоже, что хотя ARTIFACTS STORE поддерживает hdfs, вы должны использовать либо файл, либо sql, как для BACKEND STORE.