Tensorflow выпустил официальное руководство по реализации word2vec в TF 2.0 Keras
https://www.tensorflow.org/tutorials/text/word_embeddings
Однако в нем отсутствует отрицательная выборка, что очень важно в word2vec, что вызывает сожаление, посколькуОригинальный тензор потока имеет несколько замечательных функций выборки кандидатов.
Мое лучшее предположение о том, что нужно сделать, - это дополнить модель.
model = keras.Sequential([
layers.Embedding(encoder.vocab_size, embedding_dim),
layers.GlobalAveragePooling1D(),
layers.Dense(1, activation='sigmoid')
])
Возможно, используйте функциональный API вместо последовательного API.
Я вижу, что c ++ TF 2.0 имеет возможные операции выборки https://www.tensorflow.org/api_docs/cc/group/candidate-sampling-ops
Могут ли они быть включены в Keras?