Возможно, невозможно напрямую добавить файл, по крайней мере, я не смог найти документацию для этого.Однако в вашем примере лучшим подходом является добавление в список и сохранение в конце.
import torch
losses = []
for i in range(20):
# ......
loss = criterion(scores, labels)
losses.append(loss.item())
torch.save(losses, 'loss.pt')