Передача версии во время выполнения с использованием оператора Airflow в CMLE

Question

Я использую оператор MLEngine в contrib (не смог найти ни одного в contrib).Проблема из журналов заключается в ошибке времени выполнения, которая не установлена ​​должным образом и по умолчанию равна 1.0.

Файл "/root/.local/lib/python2.7/site-packages/trainer/model.py ", строка 210, в train_and_evaluate estimator = tf.estimator.Estimator (model_fn = image_classifier, AttributeError: у объекта 'module' нет атрибута 'estimator'

Я думаю, это означает, что я должен использовать TF1.8, как указано в триггере:

MLEngineTrainingOperator(
    task_id='ml_engine_training_op1',
    project_id=PROJECT_ID,
    job_id=job_id,
    package_uris=["gs://us-central1-ml-engine-deplo-0bf17ff3-bucket/trainer-0.1.tar.gz"],
    training_python_module=MODULE_NAME,
    training_args=training_args,
    region=REGION,
    scale_tier='BASIC',
    runtime_version = '1.8',
    dag=dag
)

И в журналах Airflow:

PendingDeprecationWarning: MLEngineTrainingOperator были переданы недопустимые аргументы. Поддержка передачи таких аргументовбудет сброшено в Airflow 2.0. Недопустимые аргументы: * args: () ** kwargs: {'runtime_version': '1.8'}

Версия воздушного потока, который запускается Cloud Composer, составляет 1,9.

Мой вопрос: как правильно передать во время выполнения версию в CMLE с помощью оператора?

Answer 1

MLEngineTrainingOperator в Airflow v1.9.0 не поддерживает runtime_version в качестве параметра.

Однако параметр runtime_version существует в Airflow v1.10.0.Вы можете использовать Composer Beta для создания Airflow v.1.10.0, отметив Enable Beta Features в правом верхнем углу пользовательского интерфейса Composer.

Ссылка:

Airflow v1.9.0mlengine_operator.py

Воздушный поток v1.10.0 mlengine_operator.py