Google Cloud Platform - высокая задержка при онлайн-прогнозировании - PullRequest
Новая
       37

Google Cloud Platform - высокая задержка при онлайн-прогнозировании

0 голосов
/ 03 марта 2020

Я развернул модель на основе Random Forest в Google Cloud Platform (механизм машинного обучения), чтобы получить онлайн-прогноз. Обычно требуется около 15 секунд, чтобы получить ответ (только с одним экземпляром), когда я вызываю API с помощью API с помощью клиентской библиотеки Google API. Когда я пытаюсь примерно с 15 экземплярами, время получения ответа увеличивается до более чем 2 мин. Когда эта проблема появилась в первый раз, мы настраиваем minNodes на 1, чтобы всегда был готов узел. Однако это не решило мою проблему.

Я пытался найти решение в документации Google, но это не совсем понятно. Например, я активировал журналы консоли (--enable-console-logging), но я не вижу никаких журналов.

Буду признателен за любые предложения по улучшению моей модели.

Здесь команды, используемые для развертывания модели: 

gcloud beta ai-platform models create $MODEL_NAME \
  --regions $REGION \
  --enable-console-logging

gcloud alpha ai-platform versions create $VERSION_NAME \
  --log-http \
  --model $MODEL_NAME \
  --runtime-version 1.15 \
  --python-version "3.7" \
  --origin gs:/$patch_custom/ \
  --package-uris gs:/$patch_custom/ML_MODEL_RAR-0.0.tar.gz \
  --prediction-class AQ_Service.predictor.rf_predictor \
  --machine-type mls1-c4-m4 \
  --config CONFIG.YAML
  */

CONFIG.YAML: 

  autoScaling:
    minNodes: 1  # The minimum number of nodes to allocate for this model.

Примечание. Используется тип машины mls1-c4-m4, поскольку это был единственный способ решения проблем с Размер модели без использования другой машины, которая поддерживает только TensorFlow.

Аналогичная проблема: Высокая задержка в режиме онлайн-прогнозирования

...