Назначить пользовательский вектор слов для токена UNK во время предсказания? - PullRequest
Новая
       10

Назначить пользовательский вектор слов для токена UNK во время предсказания?

0 голосов
/ 08 мая 2019

Я использую слой вложения тензорного потока для модели классификации, например, с 

with tf.variable_scope('embeddings'):
        word_embeddings = tf.constant(self.embedding_mat, dtype=tf.float32, name="embedding")
        self.embedded_x1 = tf.nn.embedding_lookup(word_embeddings, self.x1)
        self.embedded_x2 = tf.nn.embedding_lookup(word_embeddings, self.x2)

Если у меня есть UNK-токен в моей матрице встраивания, но я не использовал этот UNK в обучении, могу ли я назначить собственный вектор(например, из fasttext) во время предсказания?Итак, для этого слова UNK, которое может быть похоже на обучаемое слово, так что текст классифицируется как тот же класс?Интересно, возможно ли это с помощью вектора во время предсказания на лету значения вектора UNK?

Как я мог это сделать?

...