Биграм, считающий в PySpark - PullRequest
Новая
       10

Биграм, считающий в PySpark

0 голосов
/ 28 мая 2018

Я пытаюсь собрать в PySpark программу подсчета биграмм, которая берет текстовый файл и выводит частоту каждого правильного биграмма (два последовательных слова в предложении). 

from pyspark.ml.feature import NGram

with use_spark_session("Bigrams") as spark:
    text_file = spark.sparkContext.textFile(text_path)
    sentences = text_file.flatMap(lambda line: line.split(".")) \
                        .filter(lambda line: len(line) > 0) \
                        .map(lambda line: (0, line.strip().split(" ")))  
    sentences_df = sentences.toDF(schema=["id", "words"])    
    ngram_df = NGram(n=2, inputCol="words", outputCol="bigrams").transform(sentences_df)

ngram_df.select("bigrams") сейчассодержит: 

+--------------------+
|             bigrams|
+--------------------+
|[April is, is the...|
|[It is, is one, o...|
|[April always, al...|
|[April always, al...|
|[April's flowers,...|
|[Its birthstone, ...|
|[The meaning, mea...|
|[April comes, com...|
|[It also, also co...|
|[April begins, be...|
|[April ends, ends...|
|[In common, commo...|
|[In common, commo...|
|[In common, commo...|
|[In years, years ...|
|[In years, years ...|
+--------------------+

Таким образом, есть список биграмм для каждого предложения.Теперь необходимо подсчитать различные биграммы.Как?Кроме того, весь код кажется излишне многословным, поэтому я был бы рад видеть более сжатые решения.

1 Ответ

0 голосов
/ 29 мая 2018

Если вы уже используете RDD API, вы можете просто выполнить 

bigrams = text_file.flatMap(lambda line: line.split(".")) \
                   .map(lambda line: line.strip().split(" ")) \
                   .flatMap(lambda xs: (tuple(x) for x in zip(xs, xs[1:])))

bigrams.map(lambda x: (x, 1)).reduceByKey(lambda x, y: x + y)

В противном случае: 

from pyspark.sql.functions import explode

ngram_df.select(explode("bigrams").alias("bigram")).groupBy("bigram").count()
...