Cuda и использование памяти pytorch

Question

Я использую Cuda и Pytorch:1.4.0.

Когда я пытаюсь увеличить batch_size, у меня появляется следующая ошибка:

CUDA out of memory. Tried to allocate 20.00 MiB (GPU 0; 4.00 GiB total capacity; 2.74 GiB already allocated; 7.80 MiB free; 2.96 GiB reserved in total by PyTorch)

Я не нашел ничего об использовании памяти Pytorch.

Кроме того, я не понимаю, почему у меня доступно только 7,80 мб?

Стоит ли просто использовать видеокарту с лучшей производительностью, или я могу освободить память? К вашему сведению, у меня GTX 1050 TI, python 3,7 и факел == 1.4.0, и мой ОС Windows 10.

Answer 1

У меня была такая же проблема, у меня сработало следующее:

torch.cuda.empty_cache()
# start training from here

Даже после этого, если вы получите ошибку, вам следует уменьшить batch_size