Google Cloud ML Engine: применение пользовательских функций перед обучением / прогнозированием

Question

В настоящее время я предварительно обрабатываю некоторые данные на своем ноутбуке, а затем передаю их в ML Engine для обучения.Можно ли применить пользовательскую функцию предварительной обработки к моим данным, а затем обучить все в ML Engine?

Итак, вместо этих шагов:

1. Предварительная обработкаданные на ноутбуке.

2. Отправлять предварительно обработанные данные на ML Engine для обучения.

Я бы сделал:

1. Определить функцию предварительной обработки для ML Engine

2. Отправить необработанные данные в ML Engine, где он будет:

   a) предварительно обработать мои данные с помощьюприменяя указанную мной функцию и

   b) обучаем этим данным

Возможно ли это, и если да, то как бы я это сделал?Я ничего не вижу в документах.

Спасибо!

Answer 1

Для предварительной обработки моделей TensorFlow рассмотрим преобразование TensorFlow ( Руководство по началу работы ).

Возможно, вас заинтересует пример chicago_taxi , в который входит скрипт для интеграциипредварительная обработка с классификацией на Cloud ML Engine.

Answer 2

Вы можете использовать некоторые примеры кода здесь :

Предварительная обработка выполняется с использованием DataFlow , а затем обучение ML Engine с использованием выходных данных, сгенерированных во времяфаза предварительной обработки.