Крис Мэннинг потрясающий »и лейблы« PER PER OO »станут ([[1,9], [2,9], [3,8], [4,8]], [1, 1, 4, 4] ). Как "chris" закодирован в [1,9]?

Question

как кодируется "chris" в [1,9]? Ниже приведена кодовая ссылка

https://github.com/roypan/CS224n/blob/master/assignment3/q2_rnn.py

data: список кортежей (предложений, меток). @sentence - это список содержащий слова в предложении и @label это список выходные метки. Каждое слово представляет собой список @n_features функции. Например, предложение «Крис Мэннинг потрясающий », и лейблы« PER PER O O »станут ([[1,9], [2,9], [3,8], [4,8]], [1, 1, 4, 4]). Здесь "Крис" слово было обозначено как «[1, 9]» и «[1, 1, 4, 4]» список меток.

Answer 1

Обычно вы превращаете слова в векторы, обращаясь к таблице поиска. Каждое слово отображается в отдельный вектор. Эти векторы генерируются в процессе обучения и создают вложения слов.

Примером этого мира может быть GloVe:

https://nlp.stanford.edu/projects/glove/