Использование C ++ для загрузки SavedModel - Загрузка SavedModel для тегов {serve}; Статус: ошибка: не найдено - PullRequest
Новая
       84

Использование C ++ для загрузки SavedModel - Загрузка SavedModel для тегов {serve}; Статус: ошибка: не найдено

2 голосов
/ 20 июня 2020

У меня есть SavedModel в папке (generator_model_final) со следующим содержимым: 

- saved_model.pb
- variables
  |- variables.data-00000-of-00002
  |- variables.data-00001-of-00002
  |- variables.index

В root каталога у меня есть файлы .cc и BUILD: 

- gan_loader.cc
- BUILD
- generator_model_final

Я хочу загрузить SavedModel с помощью C ++ API для Tensorflow. Мой код на C ++ следующий: 

#include <fstream>
#include <utility>
#include <vector>

#include "tensorflow/cc/ops/const_op.h"
#include "tensorflow/cc/ops/image_ops.h"
#include "tensorflow/cc/ops/standard_ops.h"
#include "tensorflow/core/framework/graph.pb.h"
#include "tensorflow/core/framework/tensor.h"
#include "tensorflow/core/graph/default_device.h"
#include "tensorflow/core/graph/graph_def_builder.h"
#include "tensorflow/core/lib/core/errors.h"
#include "tensorflow/core/lib/core/stringpiece.h"
#include "tensorflow/core/lib/core/threadpool.h"
#include "tensorflow/core/lib/io/path.h"
#include "tensorflow/core/lib/strings/str_util.h"
#include "tensorflow/core/lib/strings/stringprintf.h"
#include "tensorflow/core/platform/env.h"
#include "tensorflow/core/platform/init_main.h"
#include "tensorflow/core/platform/logging.h"
#include "tensorflow/core/platform/types.h"
#include "tensorflow/core/public/session.h"
#include "tensorflow/core/util/command_line_flags.h"
#include "tensorflow/cc/saved_model/loader.h"
#include "tensorflow/cc/saved_model/tag_constants.h"

// These are all common classes it's handy to reference with no namespace.
using tensorflow::Flag;
using tensorflow::int32;
using tensorflow::Status;
using tensorflow::string;
using tensorflow::Tensor;
using tensorflow::tstring;
using tensorflow::SavedModelBundle;
using tensorflow::SessionOptions;
using tensorflow::RunOptions;
using tensorflow::kSavedModelTagServe;


int main(int argc, char* argv[]) {
  // These are the command-line flags the program can understand.
  // They define where the graph and input data is located, and what kind of
  // input the model expects. 

  // Input/Output names
  string input_layer = "dense_1_input";
  string output_layer = "conv2d_2";

  string root_dir = "";

  // Arguments
  std::vector<Flag> flag_list = {
      Flag("input_layer", &input_layer, "name of input layer"),
      Flag("output_layer", &output_layer, "name of output layer"),
      Flag("root_dir", &root_dir, "interpret image and graph file names relative to this directory"),
  };
  string usage = tensorflow::Flags::Usage(argv[0], flag_list);
  const bool parse_result = tensorflow::Flags::Parse(&argc, argv, flag_list);
  if (!parse_result) {
    LOG(ERROR) << usage;
    return -1;
  }

  // We need to call this to set up global state for TensorFlow.
  tensorflow::port::InitMain(argv[0], &argc, &argv);
  if (argc > 1) {
    LOG(ERROR) << "Unknown argument " << argv[1] << "\n" << usage;
    return -1;
  }

  // TODO: First we load and initialize the model.
  SavedModelBundle model;
  SessionOptions session_options;
  RunOptions run_options;

  auto status = tensorflow::LoadSavedModel(session_options, run_options, "generator_model_final/", {kSavedModelTagServe}, &model);
  if (!status.ok()) {
    std::cerr << "Failed: " << status;
    return -1;
  }  
  return 0;
}

В последней части кода, я использовал loader.h , предоставленный TF, для загрузки SavedModel с использованием C ++. Я считаю, что он должен уже правильно загружать SavedModel. Когда я собираю его с помощью Bazel (bazel build tensorflow/gan_loader/...), он строится нормально. Однако при запуске сгенерированного исполняемого файла (./bazel-bin/tensorflow/gan_loader/gan_loader) я получаю следующую ошибку: 

2020-06-20 11:12:45.925247: I tensorflow/cc/saved_model/reader.cc:31] Reading SavedModel from: generator_model_final/
2020-06-20 11:12:45.925312: I tensorflow/cc/saved_model/loader.cc:364] SavedModel load for tags { serve }; Status: fail: Not found: Could not find SavedModel .pb or .pbtxt at supplied export directory path: generator_model_final/. Took 77 microseconds.
Failed: Not found: Could not find SavedModel .pb or .pbtxt at supplied export directory path: generator_model_final/(base)

Это странно, потому что есть файл .pb, и он содержит тег serve.

Некоторая информация о моей SavedModel:

Running $ saved_model_cli show --dir <path_to_saved_model_folder> он предоставляет: 

The given SavedModel contains the following tag-sets: 
serve

Running $ saved_model_cli show --dir <path_to_saved_model_folder> --tag_set serve он предоставляет: 

The given SavedModel MetaGraphDef contains SignatureDefs with the following keys:
SignatureDef key: "__saved_model_init_op"
SignatureDef key: "serving_default"

Наконец, использование $ saved_model_cli show --dir <path_to_saved_model_folder> --tag_set serve --signature_def serving_default дает: 

The given SavedModel SignatureDef contains the following input(s):
  inputs['dense_1_input'] tensor_info:
      dtype: DT_FLOAT
      shape: (-1, 100)
      name: serving_default_dense_1_input:0
The given SavedModel SignatureDef contains the following output(s):
  outputs['conv2d_2'] tensor_info:
      dtype: DT_FLOAT
      shape: (-1, 28, 28, 1)
      name: StatefulPartitionedCall:0
Method name is: tensorflow/serving/predict

У вас есть представление о том, почему это происходит? Может быть, путь к каталогу неправильный? SavedModel что-то упускает?

Спасибо!

...