Существуют ли облачные решения для обучения модели на Python и чем результат импорта в GBQ?

Question

Я загружаю данные из GBQ в Jupiter Notebook с помощью pd.read_gbq (). Затем я препроцессирую их и выполняю модель ML (я знаю о BigQueryML, но этого недостаточно для моих задач). Я знаю, как загрузить результаты в GBQ, но я не знаю, как сделать это автоматически. Мне нужна модель поезда и прогнозировать каждый день. Есть ли какие-то возможности с облачными сервисами? Может быть, с использованием Colab?

Answer 1

Вы можете использовать Google Cloud Composer , это сервис, который позволяет пользователям управлять оркестровкой рабочих процессов, которая позволяет планировать и отслеживать конвейеры, построен на Apache Airflow, вы можете писать сложные рабочие процессы с использованием Python.

Использование Composer DAG (Направленный ациклический граф), каждая вершина DAG представляет одну задачу, а ребра - направление следующей задачи.

Таким образом, вы можете запланироватьDAG для загрузки данных из BigQuery, обучения вашей модели ML, а затем загрузки результатов в BigQuery.

Я даю вам руководство по написанию DAG с python , также оператором Pythonимеет пакеты для взаимодействия с BigQuery или Tensoflow.

Answer 2

С Google AI Platform вы можете тренироваться и запрашивать прогнозы полностью онлайн. Вы можете использовать модели, созданные с помощью Tensorflow, scikit-learn или XGBoost и иметь прогнозы как пакетные (только Tensorflow), так и онлайн. Вы также можете создавать, хранить и расспрашивать разные версии одной и той же модели.