Как сделать вывод с помощью пользовательской предварительной обработки и файлов данных в Google Cloud ML

Question

Я хочу использовать модель, которую я обучил для вывода из Google Cloud ML.Это модель НЛП, и я хочу, чтобы мой сервер node.js взаимодействовал с моделью для получения прогнозов во время поезда.

У меня есть процесс для запуска вывода модели вручную, который я хотел бы продублироватьв облаке:

1. Используйте Stanford Core NLP для токенизации моего текста и создания файлов данных, в которых хранится мой токенизированный текст.
2. Пусть модель использует эти файлы данных, создайте примеры Tensorflow изи запустите модель.
3. Пусть модель распечатает прогнозы.

Вот как я могу воспроизвести ее в облаке:

1. Отправьте текст в облако, используя мой сервер node.js.
2. Запустите скрипт python, чтобы сгенерировать файл данных.Похоже, мне придется делать это в рамках обычной процедуры прогнозирования.Я не уверен, как я могу использовать Stanford Core NLP здесь.
3. Сохраните файл данных в корзине в Google Cloud.
4. В процедуре пользовательского прогнозирования загрузите сохраненный файл данных и выполнитемодель.

Может кто-нибудь сказать мне, если этот процесс правильный?Кроме того, как я могу запустить Stanford CoreNLP в программе пользовательского прогнозирования Google Cloud?Кроме того, есть ли способ для меня просто запустить сценарии командной строки (например, для создания файлов данных у меня есть простая команда, которую я обычно просто запускаю для их создания)?

Answer 1

Вы можете реализовать пользовательский метод предварительной обработки в Python и вызвать оттуда инструментарий Stanford.См. Этот блог и соответствующий пример кода для деталей: https://cloud.google.com/blog/products/ai-machine-learning/ai-in-depth-creating-preprocessing-model-serving-affinity-with-custom-online-prediction-on-ai-platform-serving