Как измерить частоту совпадения слов

Question

Как определяется частота в появлении слова co?

Количество раз, когда два слова появляются вместе / общее количество документов в корпусе

ИЛИ

количество раз, когда два слова появляются вместе / (количествораз появляется первое слово + количество раз появляется второе слово)?

Answer 1

«Модель GloVe обучается на ненулевых элементах глобальной матрицы совпадений слово-слово, которая показывает, как часто слова встречаются друг с другом в данном корпусе».- от https://nlp.stanford.edu/projects/glove/ (издательство GloVe).Я предполагаю, что вы имеете в виду совместное использование моделей GloVe.Математически: https://towardsdatascience.com/emnlp-what-is-glove-part-ii-9e5ad227ee0 У вас есть P (i | j) = Xij / Xi w / Xij = Количество сопутствующих происшествий, а Xi = Количество раз, когда любое слово появляется в контексте слова i.Обратите внимание, Xi = Sum_k Xik, где k - каждое слово.