Мне пришлось явно позвонить в CUDA. Как только я это сделал, это сработало.
def init_hidden(self, batch_size)->None:
# This is what we'll initialise our hidden state
self.hidden = (torch.zeros(self.num_layers, batch_size, self.hidden_dim).to('cuda'), torch.zeros(self.num_layers, batch_size, self.hidden_dim).to('cuda'))