Как создать матрицу встраивания с помощью TFIDF? - PullRequest
Новая
       33

Как создать матрицу встраивания с помощью TFIDF?

0 голосов
/ 23 января 2020

Я взял набор данных Text, чтобы предсказать, что отзыв о настроении положительный или отрицательный. Используя TFIDF, я преобразовал слово в векторы. Затем я загрузил предварительно обученный файл Glove Embedding. Теперь, как создать матрицу встраивания, используя TFIDF и вложения слов в перчатках? Я хочу использовать матрицу встраивания в моей рекуррентной нейронной сети.

При создании матрицы встраивания возникает ошибка индекса, пожалуйста, исправьте меня, если я что-то не так сделал в части кодирования. 

**TFIDF Vectorizer**
''' from sklearn.feature_extraction.text import TfidfVectorizer
    vectorizer_1 = TfidfVectorizer( max_features=10000,sublinear_tf=True, 
    use_idf=True,stop_words='english')
    X_vt = vectorizer_1.fit_transform(X_train)
    X_vt.shape
    (426340, 10000)'''
**Glove Embedding**
''' embedding_index = {}
    f = open(os.path.join(' ', 
    'C:/Users/User/glove.6B/glove.6B.100d.txt'),encoding="utf-8")
    for line in f:
      values=line.split()
      word = values[0]
      coefs = np.asarray(values[1:])
      embedding_index[word] = coefs
    f.close() '''

enter code here
''' emdedding_matrix = zeros((vocab_size,100))
 for feature, names in vectorizer_1.get_feature_items():
     embedding_vector = embedding_index.get(feature)
     if embedding_vector is not None:
        emdedding_matrix[names] = embedding_vector '''

Error

...