Как вычислить косинусное сходство для TF-IDF в искре? - PullRequest
Новая
       75

Как вычислить косинусное сходство для TF-IDF в искре?

0 голосов
/ 12 февраля 2019

Я хочу вычислить косинусное сходство в искре для TF-IDF.это код в уроке искры.

 from pyspark.sql import SparkSession
spark = SparkSession.builder.master('local').appName('tfdif').getOrCreate()
from pyspark.ml.feature import HashingTF, IDF, Tokenizer

sentenceData = spark.createDataFrame([
    (0, "Hi I heard about Spark"),
    (0, "I wish Java could use case classes"),
    (1, "Logistic regression models are neat")
], ["label", "sentence"])
tokenizer = Tokenizer(inputCol="sentence", outputCol="words")
wordsData = tokenizer.transform(sentenceData)
hashingTF = HashingTF(inputCol="words", outputCol="rawFeatures", numFeatures=20)
featurizedData = hashingTF.transform(wordsData)
# alternatively, CountVectorizer can also be used to get term frequency vectors

idf = IDF(inputCol="rawFeatures", outputCol="features")
idfModel = idf.fit(featurizedData)
rescaledData = idfModel.transform(featurizedData)
for features_label in rescaledData.select("features", "label").take(3):
    print(features_label)

как это сделать?

...