Запустите тензорный поток удаленно в облаке Google, а затем верните точность / прогнозы

Question

Я пытаюсь создать графический интерфейс в Python, где пользователь выбирает данные обучения, а затем, нажимая кнопку поезда, обучает нейронную сеть. Затем пользователь может получить точность теста или использовать модель для прогнозирования чего-либо.

Проблема в том, что я не могу обучить нейронную сеть на моем компьютере из-за нехватки графического процессора.Я хочу загрузить обучающие файлы в Google Cloud , а затем удаленно запустить скрипт Python, который обучает модель в облаке Google, а затем возвращает точность обучения или, например, дает изображение в облачном хранилище Google и запускаетчто-то вроде Предиката.py удаленно, который предсказывает метку изображения, используя ранее обученную модель (которую я сохранил, например, в облачном хранилище Google)

До сих пор я нашел, как получить удаленный доступ к корзине Google из Python, ноЯ не знаю, как запустить скрипт Python удаленно (например, используя gir.cloud lirbaries?), А затем забрать вывод.

Есть идеи, как это можно сделать?Спасибо!

Answer 1

Я настоятельно рекомендую вам взглянуть на Cloud Machine Learning Engine .Этот продукт из семейства облачных платформ Google выглядит очень подходящим для того, что вы хотите сделать, поскольку он позволяет вам обучать модели в облаке, хранить их там и выполнять прогнозы на основе входных данных по вашему выбору смодели вы уже обучили.На данный момент он работает с TensorFlow (который, как мне кажется, вы планируете использовать, так как вы работаете с нейронными сетями), и совсем недавно, scikit-learn и XGBoost был представлен как бета-версия.

Позвольте мне поделиться с вами некоторыми ссылками на документацию, которые могут оказаться полезными для начала работы с ML Engine, но я призываю вас ознакомиться с документациейЧтобы узнать больше об этой услуге:

• Модели обучения : список требований, рекомендаций и процессов для обучения модели в Cloud ML Engine.Вы можете настроить свой тренер на использование графических процессоров (или даже недавно выпущенных TPU ), чтобы повысить производительность, и вы можете использовать настройку гиперпараметра для получения лучших из ваших моделей.
• Развертывание моделей : вы можете экспортировать вашу обученную модель в SavedModel, загрузить ее в облако и подготовить ее для обслуживания запросов прогнозирования.
• Запуск прогнозов: вы можете запускать два типа заданий прогнозирования: пакет (оптимизирован для обработки больших объемов данных со сложными моделями) или онлайн (оптимизирован для минимизации задержки).Пакетное прогнозирование также можно использовать для запуска моделей, хранящихся в облачных хранилищах.
• Используйте Google Cloud Storage в качестве основного хранилища.ML Engine оптимизирован для работы с GCS.Вы сможете загружать свои входные данные и модели в GCS и обрабатывать эти данные с помощью ML Engine.