Как передать аргументы в уже загруженный тензорный граф (в памяти)

Question

У меня есть модель обнаружения объекта, обученная с использованием архитектуры ssd-mobilenet. Я делаю вывод в режиме реального времени от этой модели, используя мою веб-камеру. Вывод представляет собой ограничивающий прямоугольник, наложенный на изображение с веб-камеры.

Я получаю доступ к своей веб-камере следующим образом:

import cv2
cap = cv2.VideoCapture(0)

Функция для запуска логического вывода в режиме реального времени:

with detection_graph.as_default():
  with tf.Session(graph=detection_graph) as sess:
    while True:
      ret, image_np = cap.read()
      # Expand dimensions since the model expects images to have shape: [1, None, None, 3]
      image_np_expanded = np.expand_dims(image_np, axis=0)
      image_tensor = detection_graph.get_tensor_by_name('image_tensor:0')
      # Each box represents a part of the image where a particular object was detected.
      boxes = detection_graph.get_tensor_by_name('detection_boxes:0')
      # Each score represent how level of confidence for each of the objects.
      # Score is shown on the result image, together with the class label.
      scores = detection_graph.get_tensor_by_name('detection_scores:0')
      classes = detection_graph.get_tensor_by_name('detection_classes:0')
      num_detections = detection_graph.get_tensor_by_name('num_detections:0')
      # Actual detection.
      (boxes, scores, classes, num_detections) = sess.run(
          [boxes, scores, classes, num_detections],
          feed_dict={image_tensor: image_np_expanded})
      # Visualization of the results of a detection.
      vis_util.visualize_boxes_and_labels_on_image_array(
          image_np,
          np.squeeze(boxes),
          np.squeeze(classes).astype(np.int32),
          np.squeeze(scores),
          category_index,
          use_normalized_coordinates=True,
          line_thickness=8)

      #print(boxes)


      for i, box in enumerate(np.squeeze(boxes)):
          if(np.squeeze(scores)[i] > 0.98):
              print("ymin={}, xmin={}, ymax={}, xmax{}".format(box[0]*height,box[1]*width,box[2]*height,box[3]*width))
      break

      cv2.imshow('object detection', cv2.resize(image_np, (300,300)))
      if cv2.waitKey(25) & 0xFF == ord('q'):
        cv2.destroyAllWindows()
        break

В момент обнаружения объекта мой терминал показывает его нормализованные координаты.

Это идеально подходит для видеопотока, потому что:

• Модель уже загружена в память
• всякий раз, когда новый объект появляется перед веб-камерой, загруженная модель прогнозирует этот объект и выводит его координаты

Мне нужна та же функциональность для изображения, т.е. я хочу:

• Модель уже загружена в память
• всякий раз, когда появляется новый аргумент с указанием местоположения изображения, загруженная модель прогнозирует этот объект и выводит его координаты.

Как мне это сделать, изменив код выше? Я не хочу, чтобы отдельный сервер выполнял эту задачу (как упоминалось в разделе обслуживания tenorflow).

Как мне сделать это локально на моей машине?

Answer 1

Вы можете использовать команду os.listdir(), чтобы вывести список всех файлов в данном каталоге, а затем следовать тому же конвейеру.

import os
import cv2
path = "./path/to/image/folder"
images = os.listdir(path)

with detection_graph.as_default():
  with tf.Session(graph=detection_graph) as sess:
    for image in images:
      image_path = os.path.join(path, image)
      image_np = cv2.imread(image_path)
      # Expand dimensions since the model expects images to have shape: [1, None, None, 3]
      image_np_expanded = np.expand_dims(image_np, axis=0)
      image_tensor = detection_graph.get_tensor_by_name('image_tensor:0')
      # Each box represents a part of the image where a particular object was detected.
      boxes = detection_graph.get_tensor_by_name('detection_boxes:0')
      # Each score represent how level of confidence for each of the objects.
      # Score is shown on the result image, together with the class label.
      scores = detection_graph.get_tensor_by_name('detection_scores:0')
      classes = detection_graph.get_tensor_by_name('detection_classes:0')
      num_detections = detection_graph.get_tensor_by_name('num_detections:0')
      # Actual detection.
      (boxes, scores, classes, num_detections) = sess.run(
          [boxes, scores, classes, num_detections],
          feed_dict={image_tensor: image_np_expanded})
      # Visualization of the results of a detection.
      vis_util.visualize_boxes_and_labels_on_image_array(
          image_np,
          np.squeeze(boxes),
          np.squeeze(classes).astype(np.int32),
          np.squeeze(scores),
          category_index,
          use_normalized_coordinates=True,
          line_thickness=8)

      #print(boxes)


      for i, box in enumerate(np.squeeze(boxes)):
          if(np.squeeze(scores)[i] > 0.98):
              print("ymin={}, xmin={}, ymax={}, xmax{}".format(box[0]*height,box[1]*width,box[2]*height,box[3]*width))
      break

      cv2.imshow('object detection', cv2.resize(image_np, (300,300)))
      if cv2.waitKey(25) & 0xFF == ord('q'):
        cv2.destroyAllWindows()
        break

Надеюсь, это поможет!