Как имитировать n-граммную модель, используя тензор потока?

Question

Как создать N-граммовую модель с использованием тензорного потока, который предсказывает / вычисляет частоту слова?

скажем, модель вернет значение, соответствующее частоте слова.

frequency = model("word")

print("Frequency of a word: ",frequency)

>>> Frequency of a word: 0.567

Answer 1

Вы можете использовать Tensorflow Transofrm.tf.Transform - это официальная библиотека для предварительной обработки данных с помощью TensorFlow.Например, с помощью tf.Transform.ngrams вы можете создать SparseTensor n-грамм.

Обратите внимание , что библиотека генерирует только нграммы, но не частоту.

Обязательно установите преобразование тензорного потока:

pip install tensorflow-transform