Загрузите модель в обслуживающий контейнер Tensorflow и используйте для связи с ней protobufs

Question

Я знаю, как загружать модели в обслуживающий контейнер tenorflow и взаимодействовать с ним через http-запрос, но я немного запутался в том, как использовать protobufs. Какие шаги для использования protobufs? Должен ли я просто загрузить модель в контейнер и использовать что-то вроде ниже:

from tensorflow_serving.apis import 

request = predict_pb2.PredictRequest()
request.model_spec.name = 'resnet'
request.model_spec.signature_name = 'serving_default' 

Или после / до загрузки модели мне нужно сделать несколько дополнительных шагов?

Answer 1

Вот пример кода для вызова логического вывода для gRPC в Python:

resnet_client_grpc.py

В той же папке выше вы найдете пример для вызова конечной точки REST.