Как рассчитать средние векторы, представляющие каждый документ, используя pyspark - PullRequest
Новая
       10

Как рассчитать средние векторы, представляющие каждый документ, используя pyspark

0 голосов
/ 11 декабря 2018

Я новичок в pyspark и хочу кластеризовать набор документов (20 кластеров).Для этого мне нужно сделать следующее:

  • Найти представление word2vec.
  • сопоставить каждый документ с вектором, который является средним из векторов, представляющих слова вdocument.
  • Предварительная кластеризация.

Итак, я создал представление word2vec, но мне не удалось сопоставить каждый документ с соответствующим вектором с помощью spark.

Я попробовал следующее: 

from pyspark.mllib.feature import Word2Vec
word2vec = Word2Vec()
model = word2vec.fit(docs)
dic = model.getVectors()

import numpy as np
def calcAverage(x, dic):
    ans = np.zeros(100)
    for word in x: 
        if word in dic:
            ans += np.array(dic[word])
    return tuple(ans / len(x))

vectors = docs.map(lambda x: calcAverage(x, dic))
vectors.collect()

Но это не работает, код не работает в этой строке: vectors = docs.map(lambda x: calcAverage(x, dic)), какие-либо предложения?

Я получил следующую ошибку: 

PicklingError: Could not serialize object: Py4JError: An error occurred while calling o73192.__getstate__. Trace:
py4j.Py4JException: Method __getstate__([]) does not exist
    at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:318)
    at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:326)
    at py4j.Gateway.invoke(Gateway.java:274)
    at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
    at py4j.commands.CallCommand.execute(CallCommand.java:79)
    at py4j.GatewayConnection.run(GatewayConnection.java:238)
    at java.lang.Thread.run(Thread.java:748)
...