Я загрузил модуль PyTorch nn.Embedding с предварительно обученной матрицей встраивания. Я установил обучаемый следующим образом.
self.embedding_layer = nn.Embedding(self.vocab_size, self.embed_size, paddding_idx=self.padding_idx)
self.embedding_layer.weight = nn.Parameter(self.embedding)
self.embedding_layer.weight.requires_grad = True
Я обработал этот вывод, используя сеть двунаправленных стробированных рекуррентных модулей. После обучения модели я проверил, обновляются ли веса nn.Embedding. Веса не обновлялись. Веса model.embedding_layer.weight и self.embedding одинаковы. Я проверил градиенты model.embedding_layer. Все они нули.
Не могли бы вы мне помочь? Спасибо.