Как запланировать переподготовку модели трубопровода мудреца с использованием воздушного потока - PullRequest
Новая
       15

Как запланировать переподготовку модели трубопровода мудреца с использованием воздушного потока

0 голосов
/ 23 мая 2019

Я уже реализовал модель конвейера sagemaker. В частности, для сквозного ноутбука, который обучает модель, строит модель конвейера и развертывает ее, я следовал этому образцу ноутбука.

Теперь я хотел бы переучивать и развертывать весь конвейер каждый день, используя Airflow, но я видел здесь возможность переподготовки и развертывания только одной модели Sagemaker.

Есть ли способ переобучить и развернуть весь трубопровод? Спасибо

1 Ответ

1 голос
/ 01 июня 2019

SageMaker предоставляет пользователям два варианта выполнения задач Airflow:

  1. Используйте API-интерфейсы в SageMaker Python SDK для создания ввода всех операторов SageMaker в Airflow.Блог, который вы указали, идет по этому пути.Например, они используют API training_config в SageMaker Python SDK и оператор SageMakerTrainingOperator в Airflow.

  2. Используйте PythonOperator, предоставляемый Airflow, и пишите коды Python, чтобы делать то, что вы хотите.

Для 1 в SageMaker реализованы только API-интерфейсы, связанные с обучением, настройкой, развертыванием и преобразованием одной модели.Следовательно, вы делаете конвейерную модель, я не думаю, что у нее есть API, который вы хотите.

Но для 2, если вы можете закончить то, что вы хотите в любых кодах Python с SageMaker.Вы должны быть в состоянии адаптировать его как вызовы Python и заставить их работать с PythonOperators.Вот пример для обучения этому способу, предоставленному SageMaker:

https://sagemaker.readthedocs.io/en/stable/using_workflow.html#using-airflow-python-operator

Я думаю, вы можете сделать аналогичные вещи, чтобы Airflow работал с вашей моделью конвейера.

...