Нет обнаружений при запуске Yolov2 с TensorFlow Lite в Android - PullRequest
Новая
       101

Нет обнаружений при запуске Yolov2 с TensorFlow Lite в Android

0 голосов
/ 21 апреля 2020

Я пытаюсь запустить yolov2 с TensorFlow Lite в Android. Я включил Yolo v2 в Android, но он не обнаруживает никаких изображений. Чтобы использовать YoLo v2 модель в Android, я выполнил следующие шаги:

  1. Загруженные веса с использованием curl https://pjreddie.com/media/files/yolov2-tiny.weights -o yolov2-tiny.weights

  2. Загружено файл конфигурации с использованием curl https://raw.githubusercontent.com/pjreddie/darknet/master/cfg/yolov2-tiny.cfg -o yolov2-tiny.cfg

  3. Загруженный файл меток curl https://raw.githubusercontent.com/pjreddie/darknet/master/data/coco.names -o label.txt Преобразование весов в буфер протокола тензорного потока с использованием flow --model yolov2-tiny.cfg --load yolov2-tiny.weights --savepb

  4. Преобразование буферов тензорного потока в тензор flow lite используя tflite_convert --graph_def_file='/home/mustansar/Softwares/darkflow/built_graph/yolov2-tiny.pb' --output_file='/home/mustansar/Softwares/darkflow/built_graph/yolov2-tiny.lite' --input_format=TENSORFLOW_GRAPHDEF --output_format=TFLITE --input_shape=1,416,416,3 --input_array=input --output_array=output

В итоге у меня есть два файла yolov2-tiny.lite и yolov2-tiny.meta. В Android я использую зависимость: implementation('org.tensorflow:tensorflow-lite:0.0.0-nightly') { changing = true }

Я загрузил модель и обработал изображение как:

Класс детектора: 

@Override
  public List<Recognition> recognizeImage(final Bitmap bitmap) {
    convertBitmapToByteBuffer(bitmap);

    tfLite.run(imgData, outputLocations);

    return findRecognitionsUsingTensorExample();
  }

findRecognitionUsingTensorExample () 

public ArrayList<Recognition> findRecognitionsUsingTensorExample() {
    float[][][] output = outputLocations[0];
//
    // Find the best detections.
    final PriorityQueue<Recognition> pq =
            new PriorityQueue<Recognition>(
                    1,
                    new Comparator<Recognition>() {
                      @Override
                      public int compare(final Recognition lhs, final Recognition rhs) {
                        // Intentionally reversed to put high confidence at the head of the queue.
                        return Float.compare(rhs.getConfidence(), lhs.getConfidence());
                      }
                    });

    for (int y = 0; y < gridHeight; ++y) {
      for (int x = 0; x < gridWidth; ++x) {
        for (int b = 0; b < NUM_BOXES_PER_BLOCK; ++b) {
          final int offset =
                  (gridWidth * (NUM_BOXES_PER_BLOCK * (NUM_CLASSES + 5))) * y
                          + (NUM_BOXES_PER_BLOCK * (NUM_CLASSES + 5)) * x
                          + (NUM_CLASSES + 5) * b;

          if(offset >= 416 || offset + 1 >= 416) continue;

          final float xPos = (x + expit(output[y][x][offset + 0])) * blockSize;
          final float yPos = (y + expit(output[y][x][offset + 1])) * blockSize;

          final float w = (float) (Math.exp(output[y][x][offset + 2]) * ANCHORS[2 * b + 0]) * blockSize;
          final float h = (float) (Math.exp(output[y][x][offset + 3]) * ANCHORS[2 * b + 1]) * blockSize;

          final RectF rect =
                  new RectF(
                          Math.max(0, xPos - w / 2),
                          Math.max(0, yPos - h / 2),
                          Math.min(INP_IMG_WIDTH - 1, xPos + w / 2),
                          Math.min(INP_IMG_HEIGHT - 1, yPos + h / 2));
          final float confidence = expit(output[y][x][offset + 4]);

          int detectedClass = -1;
          float maxClass = 0;

          final float[] classes = new float[NUM_CLASSES];
          for (int c = 0; c < NUM_CLASSES; ++c) {
            classes[c] = output[x][y][offset + 5 + c];
          }
          softmax(classes);

          for (int c = 0; c < NUM_CLASSES; ++c) {
            if (classes[c] > maxClass) {
              detectedClass = c;
              maxClass = classes[c];
            }
          }

          final float confidenceInClass = maxClass * confidence;
          if (confidenceInClass > THRESHOLD) {
            LOGGER.i(
                    "%s (%d) %f %s", LABELS[detectedClass], detectedClass, confidenceInClass, rect);
            pq.add(new Recognition("" + offset, LABELS[detectedClass], confidenceInClass, rect));
          }
        }
      }
    }
    final ArrayList<Recognition> recognitions = new ArrayList<Recognition>();
    for (int i = 0; i < Math.min(pq.size(), MAX_RESULTS); ++i) {
      recognitions.add(pq.poll());
    }

    return recognitions;
  }

Начиная с yolov2-tiny.meta, я использовал конфигурацию, т.е. classes=80, threshold=0.6, image size = 416x416, labels из файла и anchors из метафайла. Я не могу найти недостающий элемент.

Может кто-нибудь подсказать, почему объекты не обнаруживаются?

1 Ответ

0 голосов
/ 22 апреля 2020

Вы пытались запустить модель TF перед ее преобразованием в tflite? Вы также можете просто попробовать сначала запустить модель tflite с python. Те подскажут, откуда возникла проблема.

...