Классификация изображений в градациях серого с нейронной сетью на Android с OpenCV - PullRequest
0 голосов
/ 20 января 2019

Я работаю над Android-приложением, которое может оцифровывать числа с бумаги.Я использую собственный код OpenCV, чтобы найти цифры на картинке.После этого я хочу использовать модуль dnn OpenCV для распознавания номера.Хороший учебник по созданию нейронной сети можно найти здесь:https://www.youtube.com/watch?v=kFWKdLOxykE mnist_convnet_graph.pbtxt начинается с этого:

node {
  name: "conv2d_1_input"
  op: "Placeholder"
  attr {
    key: "dtype"
    value {
    type: DT_FLOAT
  }
  }
  attr {
    key: "shape"
    value {
      shape {
        dim {
          size: -1
        }
        dim {
          size: 28
        }
        dim {
          size: 28
        }
        dim {
          size: 1
        }
      }
    }
  }
}

Таким образом, входной сигнал представляет собой изображение в градациях серого 28x28.В учебнике Java-код используется для использования нейронной сети.Тем не менее, я хотел бы использовать его в C ++, из-за скорости.Я успешно загружаю модель с помощью cv :: dnn :: Net Dnn.readNetFromTensorflow (String model, String config); и передаю объект стороне NDK.Я создаю вход для нейронной сети следующим образом:

// The part of the image, we are interested in.
Rect roi(static_cast<int>(w), static_cast<int>(h),
             static_cast<int>(w), static_cast<int>(h));
Mat cropped(image_gray, roi);
// Resize image to 28x28.
Mat resized;
cv::resize(cropped, resized, Size(28,28));

После этого переадресация должна работать:

const double IN_SCALE_FACTOR = 0.003921; // 1.0/255.0
Mat blob = dnn::blobFromImage(resized, IN_SCALE_FACTOR, Size(28,28));
net.setInput(blob);
Mat detections = net.forward();

, где net - переданное резюме:: dnn :: Чистый объект.Но команда net.forward () завершается неудачно и дает:OpenCV (3.4.5) Ошибка: не удалось выполнить утверждение (input.size () == requiredOutputs) в виртуальном bool cv :: dnn :: экспериментальный_днн_34_v11 :: DataLayer :: getMemoryShapes (константный std :: vector> &, int, std ::vector> &, std :: vector> &) const, файл /build/3_4_pack-android/opencv/modules/dnn/src/dnn.cpp, строка 681

Я также пробовал:

  • обрезка изображения rgb
  • Mat blob = dnn :: blobFromImage (изменен размер, 1,0f, размер (28,28));
  • Не используется blobFromImage, но net.setInput (изменен размер); вместо

, но ни один из них не привел к решению.У кого-нибудь есть решения для этого?Будем благодарны за любые предложения или идеи.

1 Ответ

0 голосов
/ 21 января 2019

Хорошо, мне удалось решить мою проблему. Во-первых, я понял, что файлы .pb и .pbtxt находятся в неправильном каталоге и получил 2 Failed to upload a file информационный журнал.Поместив файлы в нужный каталог, я столкнулся с проблемой:error: (-215:Assertion failed) const_layers.insert(std::make_pair(name, li)).second in function 'void cv::dnn::experimental_dnn_34_v11::{anonymous}::addConstNodes(opencv_tensorflow::GraphDef&, std::map<cv::String, int>&, std::set<cv::String>&)'Как Дмитрий Куртаев предложил здесь , я удалил .pbtxt из Dnn.readNetFromTensorflow.После этого я получил ошибку:OpenCV(3.4.5) Error: Unspecified error (Can't create layer "flatten_1/Shape" of type "Shape") in cv::Ptr<cv::dnn::experimental_dnn_34_v11::Layer> cv::dnn::experimental_dnn_34_v11::LayerData::getLayerInstance(), file /build/3_4_pack-android/opencv/modules/dnn/src/dnn.cpp, line 513

Это привело меня к ссылке, которую я нашел в комментарии Дмитрия Куртаева здесь .После внесения предложенных изменений (удаление узлов Const, изменение и удаление сплющенных узлов) в файле .pbtxt, наконец, я не получил ошибок и успешно запустил нейронную сеть.

Примечание: Добавление K.backend.set_learning_phase(0) перед созданием модели также может быть полезным.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...