Keras использует GPU для первых 2 эпох, а затем прекращает его использование

Question

Я готовлю набор данных и сохраняю его как файл hdf5. У меня есть собственный генератор данных, который подклассов Sequence из keras и генерирует пакеты из файла hdf5.

Теперь, когда я моделирую.fit_generator, используя генератор поездов, модель использует графический процессор и быстро обучается в течение первых 2 эпох (Память графического процессора заполнена, и энергозависимое использование графического процессора колеблется в пределах 50%). Однако после 3-й эпохи энергозависимость использования графического процессора составляет 0%, а эпоха длится в 20 раз дольше.

Что здесь происходит?

Answer 1

Та же ошибка здесь !!

Потому что, когда вы устанавливаете tenorflow-gpu вдоль набора инструментов nivida, он обеспечивает ограниченный объем памяти графического процессора (здесь в моем случае 2 ГБ). Из-за утечки памяти, он, наконец, освобождает GPU и переключается на использование CPU.

, если вы хотите избежать такого состояния. Используйте Google Colab, который предоставляет около 36,7 ГБ памяти GPU.