Как добавить машины в GCP AI Platform?

Question

Из этого совета по вопросу я запустил приложение Python, которое использует Tensorflow для запуска моделирования и вывода результатов в файл csv с использованием AI Platform. Я использовал Jupyter после this .

Прекрасно работает, и я увеличил размер своей виртуальной машины, чтобы ускорить ее работу.

Теперь, как мне добавить машины, чтобы они работали еще быстрее, возможно, используя Spark и / или Datapro c или, в идеале, что-нибудь попроще?

Answer 1

Ноутбуки AI Platform основаны на одной машине. Чтобы использовать кластер компьютеров для обработки данных, вы можете использовать блокнот Jupyter в Datapro c. Для автоматической настройки используйте кластер, подобный следующему:

REGION=<gce_region>
gcloud beta dataproc clusters create ${CLUSTER_NAME} \ 
  --region ${REGION} \
  --optional-components ANACONDA,JUPYTER \
  --initialization-actions gs://goog-dataproc-initialization-actions-${REGION}/tony/tony.sh \
  --enable-component-gateway

. Это обеспечит кластер Spark с настроенной записной книжкой Jupyter и платформу для запуска Tensorflow в кластере (Tony).

Для получения дополнительной информации о ноутбуках Datapro c проверьте: https://medium.com/google-cloud/apache-spark-and-jupyter-notebooks-made-easy-with-dataproc-component-gateway-fa91d48d6a5a

А для получения дополнительной информации о Тони ознакомьтесь с этим сообщением .

Если вы ищете более безсерверный подход, вы также можете проверить распределенное обучение AI Platform:

• https://cloud.google.com/ai-platform/training/docs/packaging-trainer
• https://cloud.google.com/ai-platform/training/docs/distributed-training-containers