Должен ли я использовать тензоры fp16, чтобы использовать тензорное ядро? - PullRequest
3 голосов
/ 13 апреля 2019

Я пытаюсь использовать машину V100 на AWS.Официальный сайт говорит, что он обеспечивает более 100TFLOPS для приложения машинного обучения, но, похоже, он не работает так быстро, как 1080ti, который я использовал.

Недавно я обнаружил статью, в которой говорится, что тензорное ядро ​​работает на тензор fp16.

Итак, я должен указать тип d для тензора, например

tensor_a = torch.tensor([1.,2.,3.], dtype=torch.float16)

вместо:

tensor_a = torch.tensor([1.,2.,3])?

...