обучение google cloud ml движок на самом деле в облаке - уточнение на подходе

Question

Я пытаюсь реализовать облачные прогнозы для модели sklearn, используя движок Google Cloud ML.Я могу сделать это, однако кажется, что даже при использовании REST API он всегда ссылается на модуль тренера, который фактически обучен в автономном режиме / или в стандартной среде выполнения Python3, на котором установлен sklearn, а не на какой-либо сервис Google:

training_inputs = {'scaleTier': 'BASIC',
#'masterType': 'standard',
#'parameterServerType': 'large_model',
#'workerCount': 9,
#'parameterServerCount': 3,
'packageUris': ['gs://pathto/trainer/package/packages/trainer-0.0.0.tar.gz'],
'pythonModule': 'trainer.task',
'region': 'europe-west1',
'jobDir': ,
'runtimeVersion': '1.12',
'pythonVersion': '3.5'}

Итак, с моей точки зрения, используется ли gcloud (отправка из командной строки) или REST API с помощью:

request = ml.projects().jobs().create(body=job_spec, parent=project_id)

Фактическое обучение выполняется моим кодом на Python, выполняющим sklearn, т.е.Движок Google Cloud ML все, что он делает, это получает спецификации моделей из файла sklearn model.bst и затем выполняет фактические прогнозы.Правильно ли мое понимание?спасибо за помощь,

Answer 1

Чтобы ответить на ваш вопрос, приведем некоторые сведения о ML Engine: модуль, указанный в команде: основной модуль , который запускает весь процесс обучения. Этот процесс будет включать обучающий файл и оценочный файл в код, как в в этом примере , и ML Engine будет отвечать за создание модели на основе этих файлов. Поэтому при отправке учебного задания в ML Engine процесс обучения будет использовать ресурсы ML Engine для каждого этапа обучения для создания модели, которую можно будет развернуть в ML Engine для прогнозирования.

По вашему вопросу, ML Engine не мешает обучающим наборам данных и кодированию моделей. Поэтому ему нужен модуль тренера с описанием модели и кодом. Он предоставляет ресурсы для обучения и прогнозирования модели, а также управляет другой версией модели. Диаграмма в этом документе должна служить хорошим справочным материалом для того, что делает ML Engine.