Пакет двигателей Airflow ML_URI

Question

Для чего используется URI пакета?Это обязательно?Если да, то как мне его создать?В настоящее время у меня есть модель пакета в правильном формате:

model.py
task.py
_init_.py

Answer 1

Я смог вручную собрать пакет и поместить его в корзину Cloud Composer.Затем я указал путь к файлу в корзине:

package_uris=["gs://us-central1-ml-engine/trainer-0.1.tar.gz"]

Answer 2

Я предполагаю, что вы спрашиваете о package_uris в MLEngineTrainingOperator.

Инструкции по этому поводу можно найти в Документация по Cloud ML Engine .Отличительной особенностью является то, что в отличие от использования gcloud, для интеграции с Airflow обязательно требуется предоставить / pakcage пакет самостоятельно, поскольку операторы Airflow работают удаленно, и он не может пакетировать из вашего локального каталога.

Чтоздесь вам может понадобиться setup.py на основе setuptools с соответствующими зависимостями.(Кстати, _init_.py не является допустимым файлом, __init__.py есть.) Когда каталоги готовы, вы можете просто запустить следующую команду для загрузки пакета.

python setup.py sdist 
gsutil cp dist/<tarfile> gs://<your_bucket>/<folder>/

Или, если вы ужеЕсли у вас есть пакет, загруженный с помощью команды gcloud ml-engine jobs submit training, вы можете просто указать URI для его повторного использования.