Пытаясь понять нейронный код перевода Pytorch для декодера - PullRequest
Новая
       9

Пытаясь понять нейронный код перевода Pytorch для декодера

0 голосов
/ 06 ноября 2018

Я читаю учебник нейронного машинного перевода Python Pytorch https://pytorch.org/tutorials/intermediate/seq2seq_translation_tutorial.html, и я могу понять все до первого куска кода для нейронной сети для декодера, особенно я не могу понять функцию forward: 

class DecoderRNN(nn.Module):
    def __init__(self, hidden_size, output_size):
        super(DecoderRNN, self).__init__()
        self.hidden_size = hidden_size

        self.embedding = nn.Embedding(output_size, hidden_size)
        self.gru = nn.GRU(hidden_size, hidden_size)
        self.out = nn.Linear(hidden_size, output_size)
        self.softmax = nn.LogSoftmax(dim=1)

    def forward(self, input, hidden):
        output = self.embedding(input).view(1, 1, -1)
        output = F.relu(output)
        output, hidden = self.gru(output, hidden)
        output = self.softmax(self.out(output[0]))
        return output, hidden

    def initHidden(self):
        return torch.zeros(1, 1, self.hidden_size, device=device)

Я понимаю, что input является буквальным словом, и self.embedding преобразует его в одномерный вектор, это может быть вложение в одно целое, или это может быть вложение вектора действительных чисел, но в любом случае это это вектор. Но какова роль view(1, 1, -1)? Что это делает семантически и почему это следует называть Я понимаю, что мне нужно продолжить с вектора, но, очевидно, это view как-то переводит этот вектор в многомерный тензор, не правда ли? Я предполагаю, что дальнейшие вызовы нейронных функций активации ожидают 1D вектора, но теперь есть что-то другое. А что делается в строке output = self.softmax(self.out(output[0]))? output должен быть одномерным вектором, но почему я должен взять только первый его элемент? Что происходит с другими элементами?

Это такой простой пример, но почему-то я не понимаю, что здесь происходит и почему такая сложность вводится, почему я не могу остановиться и выполнить все вычисления с одномерными векторами?

...