Запуск нескольких сеансов тензорного потока впоследствии

Question

Я разрабатываю простой REST-контроллер с использованием gunicorn и склянки.

При каждом вызове REST я выполняю следующий код

@app.route('/objects', methods=['GET'])
def get_objects():
    video_title = request.args.get('video_title')
    video_path = "../../video/" + video_title
    cl.logger.info(video_path)
    start = request.args.get('start')
    stop = request.args.get('stop')
    scene = [start, stop]

    frames = images_utils.extract_frames(video_path, scene[0], scene[1], 1)
    cl.logger.info(scene[0]+" "+scene[1])
    objects = list()
    ##objects
    model = GenericDetector('../resources/open_images/frozen_inference_graph.pb', '../resources/open_images/labels.txt')
    model.run(frames)
    for result in model.get_boxes_and_labels():
        if result is not None:
            objects.append(result)

    data = {'message': {
        'start_time': scene[0],
        'end_time': scene[1],
        'path': video_path,
        'objects':objects,
    }, 'metadata_type': 'detection'}

    return jsonify({'status': data}), 200

Этот код запускает замороженную модель тензорного потока следующим образом:

class GenericDetector(Process):

    def __init__(self, model, labels):
        # ## Load a (frozen) Tensorflow model into memory.
        self.detection_graph = tf.Graph()
        with self.detection_graph.as_default():
            od_graph_def = tf.GraphDef()
            with tf.gfile.GFile(model, 'rb') as fid:
                serialized_graph = fid.read()
                od_graph_def.ParseFromString(serialized_graph)
                tf.import_graph_def(od_graph_def, name='')

        self.boxes_and_labels = []

        # ## Loading label map
        with open(labels) as f:
            txt_labels = f.read()
            self.labels = json.loads(txt_labels)


    def run(self, frames):
        tf.reset_default_graph()
        with self.detection_graph.as_default():
            config = tf.ConfigProto()
            config.gpu_options.allow_growth = True
            with tf.Session(graph=self.detection_graph, config=config) as sess:

                image_tensor = self.detection_graph.get_tensor_by_name('image_tensor:0')
                # Each box represents a part of the image where a particular object was detected.
                detection_boxes = self.detection_graph.get_tensor_by_name('detection_boxes:0')
                # Each score represent how level of confidence for each of the objects.
                detection_scores = self.detection_graph.get_tensor_by_name('detection_scores:0')
                detection_classes = self.detection_graph.get_tensor_by_name('detection_classes:0')
                num_detections = self.detection_graph.get_tensor_by_name('num_detections:0')

                i = 0
                for frame in frames:

                    # Expand dimensions since the model expects images to have shape: [1, None, None, 3]
                    image_np_expanded = np.expand_dims(frame, axis=0)

                    # Actual detection.
                    (boxes, scores, classes, num) = sess.run(
                        [detection_boxes, detection_scores, detection_classes, num_detections], \
                        feed_dict={image_tensor: image_np_expanded})

                    boxes = np.squeeze(boxes)
                    classes = np.squeeze(classes).astype(np.int32)
                    scores = np.squeeze(scores)

                    for j, box in enumerate(boxes):
                        if all(v == 0 for v in box):
                            continue

                        self.boxes_and_labels.append(
                            {
                                "ymin": str(box[0]),
                                "xmin": str(box[1]),
                                "ymax": str(box[2]),
                                "xmax": str(box[3]),
                                "label": self.labels[str(classes[j])],
                                "score": str(scores[j]),
                                "frame":i
                            })
                    i += 1
            sess.close()
    def get_boxes_and_labels(self):
        return self.boxes_and_labels

Кажется, что все работает как исключение, но как только я отправляю второй запрос на мой сервер, мой графический процессор (GTX 1050) выходит из памяти:

ResourceExhaustedError (см. Выше для отслеживания): OOM при распределении тензор формы [3,3,256,256] и типа float

Если после этого я попытаюсь позвонить, он работает большую часть времени. Иногда это будет работать и при последующих вызовах. Я попытался выполнить GenericDetector в отдельном процессе (создание наследования процесса GEnericDetector), но это не помогло. Я читал, что после того, как процесс, выполняющий REST GET, не работает, память GPU должна быть освобождена, поэтому я также попытался добавить sleep (30) после выполнения модели tenorflow, но безуспешно. Что я делаю не так?

Answer 1

Дело в том, что Tensorflow выделяет память для процесса, а не для сеанса, закрытие сеанса недостаточно (даже если вы поставили allow_growth option).

Первым является параметр allow_growth, который пытается выделить только столько памяти GPU на основе выделения времени выполнения: он начинает выделять очень мало памяти, и когда сеансы запускаются и требуется больше памяти GPU, мы расширяем область памяти GPU, необходимую для процесса TensorFlow. Обратите внимание, что мы не освобождаем память, так как это может привести к еще большей фрагментации памяти.

Существует проблема на TF github с некоторыми решениями,Вы можете, например, украсить свой метод запуска с помощью RunAsCUDASubprocess, предложенного в потоке.

Answer 2

Эта ошибка означает, что вы пытаетесь вставить в графический процессор нечто большее, чем имеющаяся у вас память.Может быть, вы можете уменьшить количество параметров где-нибудь в вашей модели, чтобы она была легче?