Использование графического процессора показывает ноль, когда CUDA с PyTorch используется на Windows

Question

У меня есть скрипт pytorch.

import torch

torch.cuda.is_available() 
# True

device=torch.device('cuda:0') 
# I moved my tensors to device

Но Windows Диспетчер задач показывает нулевое использование графического процессора (NVIDIA GTX 1050TI), когда скрипт pytorch работает. для CPU вместо GPU скорость замедляется, поэтому cuda (GPU) работает. Почему Windows Диспетчер задач не показывает использование графического процессора?

Пример моего кода:

device=torch.device("cuda:0")
model=torch.load('mymodel.pth', map_location=torch.device(device))
image=Image.open('picture.png').convert('RGB')
transform=transforms.Compose([
            transforms.Resize(224),
            transforms.CenterCrop(224),
            transforms.ToTensor(),
            transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
        ])
input=transform(image)
input=torch.unsqueeze(input, 0)
input=input.to(device)
output=model(input)

Answer 1

Просто вызов torch.device('cuda:0') на самом деле не использует графический процессор. Это просто идентификатор устройства.

Вместо этого, следуя документации , вы должны перенести свои тензоры и модели на графический процессор.

torch.randn((2,3), device=torch.device('cuda:0'))
# Or
tensor = torch.randn((2,3))
cuda0 = torch.device('cuda:0')
tensor.to(cuda0)