Похоже, у меня та же проблема. Из того, что я получил, pytorch.distributed не поддерживается на Windows: https://pytorch.org/docs/stable/distributed.html
Если вы попробуете что-то вроде:
> python
>>> import torch
>>> import torch.ditributed as dist
>>> dist.is_available()
Вы получите "Ложь"
Немного больше информации можно найти здесь: https://github.com/NVIDIA/apex/issues/429
Итак, чтобы это работало, вам нужно Linux или как-то избавиться от факела распределение.