Таблицы GCP AutoML предсказывают, что онлайн занимает несколько секунд

Question

Следующее занимает несколько секунд. Я знаю, что это не концептуально, но я кросс-пост из проблемы GCP на тот случай, если кто-то случайно наступил на тот же сценарий.

const { PredictionServiceClient } = require('@google-cloud/automl');
const predictionServiceClient = new PredictionServiceClient({ apiEndpoint });
const prediction = await predictionServiceClient.predict({
    name: modelFullId,
    params,
    payload,
});

Этот API в реальном времени занимает около 10 секунд, когда холодно и 5 секунд когда жарко Есть ли способ закрепить это, кроме как экспортировать модель и запустить ее самостоятельно?

Answer 1

Да, вы можете экспортировать модель и использовать с tenorFlow JS.

https://cloud.google.com/vision/automl/docs/edge-quickstart

https://github.com/tensorflow/tfjs/tree/master/tfjs-automl

1. Экспортируйте модель и загрузите файлы model.json, dict.txt, *.bin в ваш локальный.

2. Загрузите модель в tenorFlow JS и используйте ее.