Как передать изображение на модель tflite в android - PullRequest
Новая
       82

Как передать изображение на модель tflite в android

1 голос
/ 03 августа 2020

Я преобразовал модель Yolo в .tflite для использования в android. Вот как это было использовано в python - 

net = cv2.dnn.readNet("yolov2.weights", "yolov2.cfg")
classes = []
with open("yolov3.txt", "r") as f:
    classes = [line.strip() for line in f.readlines()]
layer_names = net.getLayerNames()
output_layers = [layer_names[i[0] - 1] for i in net.getUnconnectedOutLayers()]
colors = np.random.uniform(0, 255, size=(len(classes), 3))

cap= cv2.VideoCapture(0)


while True:
    _,frame= cap.read()
    height,width,channel= frame.shape
    blob = cv2.dnn.blobFromImage(frame, 0.00392, (320, 320), (0, 0, 0), True, crop=False)
    net.setInput(blob)
    outs = net.forward(output_layers)
    for out in outs:
        for detection in out:
            scores = detection[5:]
            class_id = np.argmax(scores)
            confidence = scores[class_id]
            if confidence > 0.2:
            # Object detected
                center_x = int(detection[0] * width)
                center_y = int(detection[1] * height)
                w = int(detection[2] * width)
                h = int(detection[3] * height)
                # Rectangle coordinates
                x = int(center_x - w / 2)
                y = int(center_y - h / 2)

Я использовал netron https://github.com/lutzroeder/netron для визуализации модели. Вход описывается как имя: входы, тип: float32 [1,416,416,3], квантование: 0 ≤ q ≤ 255, расположение: 399, а вывод - как имя: output_boxes, тип: float32 [1,10647,8], расположение: 400.

Моя проблема связана с использованием этой модели в android. Я загрузил модель в «Интерпретатор tflite», я получаю входные кадры с камеры в формате byte []. Как я могу преобразовать его в требуемый ввод для tflite.run (ввод, вывод)?

1 Ответ

1 голос
/ 03 августа 2020

Вам необходимо изменить размер входного изображения в соответствии с входным размером модели TensorFlow-Lite, а затем преобразовать его в формат RGB для подачи в модель.

Используя ImageProcessor из TensorFlow-Lite Библиотека поддержки, вы можете легко изменять размер и преобразовывать изображения. 

ImageProcessor imageProcessor =
        new ImageProcessor.Builder()
            .add(new ResizeWithCropOrPadOp(cropSize, cropSize))
            .add(new ResizeOp(imageSizeX, imageSizeY, ResizeMethod.NEAREST_NEIGHBOR))
            .add(new Rot90Op(numRoration))
            .add(getPreprocessNormalizeOp())
            .build();
return imageProcessor.process(inputImageBuffer);

Затем, чтобы выполнить вывод с помощью интерпретатора, вы передаете предварительно обработанное изображение интерпретатору TensorFlow-Lite: 

tflite.run(inputImageBuffer.getBuffer(), outputProbabilityBuffer.getBuffer().rewind());

См. этот официальный пример для получения более подробной информации, кроме того, вы также можете обратиться к этому примеру.

...