Как настроить ввод с изображением для tenorflow-lite в c ++?

Question

Я пытаюсь переместить нашу модель Tensoflow с версии Python + Keras на Tensorflow Lite с C ++ на встроенной платформе.

Похоже, я не знаю, как правильно настроить ввод для интерпретатора.

Форма ввода должна быть (1, 224, 224, 3).

В качестве ввода я снимаю изображение с openCV, преобразуя его в CV_BGR2RGB.

std::unique_ptr<tflite::FlatBufferModel> model_stage1 = 
tflite::FlatBufferModel::BuildFromFile("model1.tflite");
  TFLITE_MINIMAL_CHECK(model_stage1 != nullptr);

  // Build the interpreter
  tflite::ops::builtin::BuiltinOpResolver resolver_stage1;
  std::unique_ptr<Interpreter> interpreter_stage1;
  tflite::InterpreterBuilder(*model_stage1, resolver_stage1)(&interpreter_stage1);

TFLITE_MINIMAL_CHECK(interpreter_stage1 != nullptr);

  cv::Mat cvimg = cv::imread(imagefile);
  if(cvimg.data == NULL) {
    printf("=== IMAGE READ ERROR ===\n");
    return 0;
  }

  cv::cvtColor(cvimg, cvimg, CV_BGR2RGB);

  uchar* input_1 = interpreter_stage1->typed_input_tensor<uchar>(0);

 memcpy( ... );

У меня проблемас правильной настройкой memcpy для этого типа uchar.

Когда я так поступаю, у меня возникает ошибка seg во время работы:

memcpy(input_1, cvimg.data, cvimg.total() * cvimg.elemSize());

Как правильно заполнить ввод в этом случае?

Answer 1

Чтобы преобразовать мои комментарии в ответ: Memcpy не может быть правильным подходом здесь. OpenCV сохраняет изображения в виде одномерных массивов RGB-упорядоченных (или BGR или еще одной цветовой комбинации) значений цвета на пиксель. Можно перебрать эти RGB-фрагменты с помощью:

for (const auto& rgb : cvimg) {
    // now rgb[0] is the red value, rgb[1] green and rgb[2] blue.
}

И запись значений в Tensorflow-Lite typed_input_tensor должна выполняться следующим образом; где i - индекс (итератор) и x назначенное значение:

interpreter->typed_input_tensor<uchar>(0)[i] = x;

Так что цикл может выглядеть так:

for (size_t i = 0; size_t < cvimg.size(); ++i) {
    const auto& rgb = cvimg[i];
    interpreter->typed_input_tensor<uchar>(0)[3*i + 0] = rgb[0];
    interpreter->typed_input_tensor<uchar>(0)[3*i + 1] = rgb[1];
    interpreter->typed_input_tensor<uchar>(0)[3*i + 2] = rgb[2];
}