Почему функция model.fit в керасе значительно увеличивает объем оперативной памяти?

Question

Я загружаю свои данные с помощью функции open_memmap, и она занимает 5 ГБ оперативной памяти.Затем я компилирую модель, имеющую параметры: 89,268,608, и она не занимает оперативной памяти.Мой размер пакета в настоящий момент составляет 200, а входное изображение имеет форму (300,54,3).

Моя проблема заключается в том, что когда я вызываю функцию model.fit в кератах, объем моей оперативной памяти увеличивается с 5 ГБ до 24 ГБ.,Мой вопрос почему?

Когда я пытаюсь использовать пакеты разных размеров, ничего не меняется, и все равно 23 ГБ ОЗУ занято?

Если кто-то может объяснить мне, что происходит, я был бы очень признателен,

Спасибо!

Answer 1

Keras 'fit метод загружает все данные в память одновременно, означая, что изменение размера пакета не повлияет на объем оперативной памяти, которую он занимает.Ознакомьтесь с использованием fit_generator , который предназначен для использования с большим набором данных.