Я новый пользователь Keras, извините, если это вопрос новичка.Кажется, что у меня есть искусственный предел, который не позволяет мне использовать всю память GPU, но моя config.gpu_options.per_process_gpu_memory_fraction не имеет никакого ограничения.Кто-нибудь знает, что еще может мешать мне использовать всю память?Ниже я объясню, почему мне кажется, что я не могу использовать всю память.
У меня довольно большая модель Keras с бэкэндом Tensorflow, который я использую в AWS.Я могу тренироваться с batch_size 4, но если я тренируюсь с batch_size 8, это переполняет память.Мой экземпляр - p3.2xlarge с 16 ГБ памяти GPU, и я убедился, что он использует GPU из команды K.tensorflow_backend._get_available_gpus ().
Я попытался перейти на p3.8xlarge, который имеет в 4 раза больше памяти GPU (64 ГБ).Я ожидал, что смогу тренировать ту же модель с гораздо большим размером партии после этого.Все, что я читаю онлайн, показывает, что наиболее важные аспекты потребления памяти являются линейными в batch_size.Но он по-прежнему переполняет память, когда я использую размер пакета batch_size 8.
Кто-нибудь знает, почему я не могу получить доступ к своей полной памяти GPU, если есть что-то еще, что я могу проверить, чтобы отладить то, что идет не так?