Я использую Keras с TensorFlow 2.0. У меня есть слой внедрения, который я инициализирую следующим образом:
embed = Embedding(len(embedding_weights), params['embedding_dim'], input_length=sequence_length, mask_zero=True, weights=[embedding_weights],name="embedding")(model_input)
embedding_weights
- это матрица встраивания слов. embedding_weights[0]
- это строка нулей.
Однако для входа = [1,2,5,1,5, 0,0,0 ...],
слой внедрения выводит ненулевой вектор для нулей заполнения. Разве это не должны быть нули? Почему модель обновляет нулевой вектор в матрице вложения?