Работа с Tensorflow Serving с использованием Java - PullRequest
Новая
       24

Работа с Tensorflow Serving с использованием Java

1 голос
/ 17 апреля 2019

Мы переводим существующий производственный код Java для использования Tensorflow Serving (TFS) для вывода.Мы уже переподготовили наши модели и сохранили их, используя новый формат SavedModel (больше никаких замороженных графиков !!).
Из документации, которую я прочитал, TFS напрямую не поддерживает Java.Однако он предоставляет интерфейс gRPC, а также интерфейс Java.

Мой вопрос, каковы этапы запуска приложения Java для использования TFS.

[Редактировать: перемещеношаги к решению]

1 Ответ

1 голос
/ 17 апреля 2019

Потребовалось четыре дня, чтобы собрать все вместе, поскольку документация и примеры по-прежнему ограничены.
Я уверен, что есть лучшие способы сделать это, но это то, что я нашел до сих пор:

  • Я клонировал репозитории tensorflow/tensorflow, tensorflow/serving и google/protobuf на github.
  • Я скомпилировал следующие файлы protobuf с помощью компилятора protoc protobuf с grpc-java плагин .Я ненавижу тот факт, что есть так много разбросанных .proto файлов, которые нужно скомпилировать, но я хотел, чтобы минимальный набор включал, и в разных каталогах было так много ненужных .proto файлов, которые можно было бы нарисовать. Вотминимальный набор, необходимый для компиляции нашего Java-приложения:
    • serving_repo/tensorflow_serving/apis/*.proto
    • serving_repo/tensorflow_serving/config/model_server_config.proto
    • serving_repo/tensorflow_serving/core/logging.proto
    • serving_repo/tensorflow_serving/core/logging_config.proto
    • serving_repo/tensorflow_serving/util/status.proto
    • serving_repo/tensorflow_serving/sources/storage_path/file_system_storage_path_source.proto
    • serving_repo/tensorflow_serving/config/log_collector_config.proto
    • tensorflow_repo/tensorflow/core/framework/tensor.proto
    • tensorflow_repo/tensorflow/core/framework/tensor_shape.proto
    • tensorflow_repo/tensorflow/core/framework/types.proto
    • tensorflow_repo/tensorflow/core/framework/resource_handle.proto
    • tensorflow_repo/tensorflow/core/example/example.proto
    • tensorflow_repo/tensorflow/core/protobuf/tensorflow_server.proto
    • tensorflow_repo/tensorflow/core/example/feature.proto
    • tensorflow_repo/tensorflow/core/protobuf/named_tensor.proto
    • tensorflow_repo/tensorflow/core/protobuf/config.proto
  • Обратите внимание, что protoc будет компилироваться даже при наличии grpc-java, однако большинство критических точек входа будут таинственным образом отсутствовать.Если PredictionServiceGrpc.java отсутствует, то grpc-java не выполняется.
  • Пример командной строки (с разрывами строки, вставленными для удобства чтения): 
$ ./protoc -I=/Users/foobar/protobuf_repo/src \
   -I=/Users/foobar/tensorflow_repo \   
   -I=/Users/foobar/tfserving_repo \  
   -plugin=protoc-gen-grpc-java=/Users/foobar/protoc-gen-grpc-java-1.20.0-osx-x86_64.exe \
   --java_out=src \
   --grpc-java_out=src \
   /Users/foobar/tfserving_repo/tensorflow_serving/apis/*.proto

ManagedChannel mChannel;
PredictionServiceGrpc.PredictionServiceBlockingStub mBlockingstub;
mChannel = ManagedChannelBuilder.forAddress(host,port).usePlaintext().build();
mBlockingstub = PredictionServiceGrpc.newBlockingStub(mChannel);
  • Я проследил несколько документов, чтобы собрать воедино следующие шаги:
    • gRPC документы обсудить заглушки (блокирование и асинхронность)
    • Эта статья обзор процесса, но с Python
    • Этот пример код был критически важен для примеров синтаксиса NewBuilder.
  • Импорт Maven:
    • io.grpc:grpc-all
    • org.tensorflow:libtensorflow
    • org.tensorflow:proto
    • com.google.protobuf:protobuf-java
  • Вот пример кода: 
// Generate features TensorProto
TensorProto.Builder featuresTensorBuilder = TensorProto.newBuilder();

TensorShapeProto.Dim featuresDim1  = TensorShapeProto.Dim.newBuilder().setSize(1).build();
TensorShapeProto     featuresShape = TensorShapeProto.newBuilder().addDim(featuresDim1).build();
featuresTensorBuilder.setDtype(org.tensorflow.framework.DataType).setTensorShape(featuresShape);
TensorProto featuresTensorProto = featuresTensorBuilder.build();


// Now prepare for the inference request over gRPC to the TF Serving server
com.google.protobuf.Int64Value version = com.google.protobuf.Int64Value.newBuilder().setValue(mGraphVersion).build();

Model.ModelSpec.Builder model = Model.ModelSpec
                                     .newBuilder()
                                     .setName(mGraphName)
                                     .setVersion(version);  // type = Int64Value
Model.ModelSpec     modelSpec = model.build();

Predict.PredictRequest request;
request = Predict.PredictRequest.newBuilder()
                                .setModelSpec(modelSpec)
                                .putInputs("image", featuresTensorProto)
                                .build();

Predict.PredictResponse response;

try {
    response = mBlockingstub.predict(request);
    // Refer to https://github.com/thammegowda/tensorflow-grpc-java/blob/master/src/main/java/edu/usc/irds/tensorflow/grpc/TensorflowObjectRecogniser.java

    java.util.Map<java.lang.String, org.tensorflow.framework.TensorProto> outputs = response.getOutputsOrDefault();
    for (java.util.Map.Entry<java.lang.String, org.tensorflow.framework.TensorProto> entry : outputs.entrySet()) {
        System.out.println("Response with the key: " + entry.getKey() + ", value: " + entry.getValue());
    }
} catch (StatusRuntimeException e) {
    logger.log(Level.WARNING, "RPC failed: {0}", e.getStatus());
    success = false;
}
...