НЛП - векторы слов, визуализированные на 2D плоскости, следуют за U-образной формой.Зачем? - PullRequest
0 голосов
/ 18 апреля 2019

Я скачал новостную статью Reuters о сырой нефти с использованием API NLTK и создал матрицу совместного использования.Я установил размер окна = 5 и произвел уменьшение размеров.Он уменьшен с 7853 до 2-х мерного.Объясненная изменчивость составила 93%, что означает, что мое уменьшение размеров было разумно сделано хорошо.

Я построил векторы слов на двухмерной плоскости, и это выглядит так:

enter image description here

Как видите, выглядиткак 'U' повернутый в сторону или кривая в сторону у = x ^ 2.

Это интересное явление, я не понимаю, почему это происходит.У кого-нибудь есть объяснение, почему?

++ Это не Word2Vec

++ Это не уменьшение размера t-SNE, а только TruncatedSVD

...