При выводе с различными размерами пакетов каждая итерация l oop приводит к быстрому потреблению памяти. Это наблюдается только при работе на процессоре, а не на графическом процессоре.
Вот фрагмент кода для воспроизведения проблемы:
import torch
import random
from torchvision.models.resnet import resnext50_32x4d
model = resnext50_32x4d(pretrained=False)#Using GPU here makes the problem go away!!
_ = model.eval()
my_predictions = []
for i in range(100):
x = torch.zeros((random.randint(1, 10), 3, 224, 224)).float()
with torch.no_grad():
pred = model(x)
my_predictions.append(pred.mean().item())
Может ли кто-нибудь помочь в решении проблемы? Спасибо!