Утечка памяти Keras TensorFlow1.8.0 - PullRequest
Новая
       16

Утечка памяти Keras TensorFlow1.8.0

0 голосов
/ 14 мая 2018

Мне нужна помощь, чтобы минимизировать подозрения на утечку памяти.

Я использую последнюю версию Keras с tenorflow 1.8.0 и python 3.6

Когда программа начинает постепенно расти до гигантских размеров .. !! нужна помощь здесь.

Я использую сеть VGG16 для категоризации изображений. Я не смог локализовать проблему, которая вызывает утечки памяти.

Это ошибка тензорного потока или Python, страдающий от таких заданий

код: 

class_labels = ['cc','','cc','xx']

image = load_img(img_path, target_size=target_size)

image_arr = img_to_array(image) # convert from PIL Image to NumPy array
image_arr /= 255

image_arr = np.expand_dims(image_arr, axis=0)

model = applications.VGG16(include_top=False, weights='imagenet')  

bottleneck_features = model.predict(image_arr) 

model = create_top_model("softmax", bottleneck_features.shape[1:])

model.load_weights("res/_top_model_weights.h5")
numpy_horizontal_concat = cv2.imread(img_path)
xxx=1
path ="/home/dataset/test"
listOfFiles = os.listdir(path)
random.shuffle(listOfFiles)
pattern = "*.jpg"
model = applications.VGG16(include_top=False, weights='imagenet')

for entry in listOfFiles:
    if fnmatch.fnmatch(entry, pattern):
        image = load_img(path+"/"+ entry, target_size=target_size)
        start_time = time.time()

        image_arr = img_to_array(image)  # convert from PIL Image to NumPy array
        image_arr /= 255

        image_arr = np.expand_dims(image_arr, axis=0)

        bottleneck_features = model.predict(image_arr)

        model2 = create_top_model("softmax", bottleneck_features.shape[1:])

        model2.load_weights("res/_top_model_weights.h5")


        predicted = model2.predict(bottleneck_features)
        decoded_predictions = dict(zip(class_labels, predicted[0]))
        decoded_predictions = sorted(decoded_predictions.items(), key=operator.itemgetter(1), reverse=True)
        elapsed_time = time.time() - start_time

        print()
        count = 1
        for key, value in decoded_predictions[:5]:
            print("{}. {}: {:8f}%".format(count, key, value * 100))
            print("time:  " , time.strftime("%H:%M:%S", time.gmtime(elapsed_time)) , "  - " , elapsed_time)
            count += 1

        #OPENCV concat test
        #numpy_horizontal_concat = np.concatenate((mat_image,numpy_horizontal_concat), axis=0)

        hide_img = True
        model2=""
        predicted=""
        image_arr=""
        image=""

1 Ответ

0 голосов
/ 14 мая 2018

Внутри цикла for вы создаете новую модель с загруженными весами.Эта модель встроена в ваш сеанс tenorflow, который вы не сбрасываете.Таким образом, ваша сессия состоит из множества моделей без удаления одной.

Существует 2 возможных решения:

  1. Попробуйте оптимизировать код, чтобы загрузить модель только один раз.,Таким образом, ваш код станет намного быстрее
  2. Сброс сеанса:

Я настоятельно рекомендую использовать первое решение, но если это невозможно: 

from keras import backend as K
K.clear_session()
...