Как получить элемент из векторной структуры в PySpark - PullRequest
Новая
       22

Как получить элемент из векторной структуры в PySpark

1 голос
/ 27 февраля 2020

Я пытаюсь получить массив результатов из вектора результатов TF-IDF. Например: 

rescaledData.select("words", "features").show()
+-----------------------------+---------------------------------------------------------------------------------------------+
|words                        |features                                                                                     |
+-----------------------------+---------------------------------------------------------------------------------------------+
|[a, b, c]                    |(4527,[0,1,31],[0.6363067860791387,1.0888040725098247,4.371858972705023])                    |
|[d]                          |(4527,[8],[2.729945780576634])                                                               |
+-----------------------------+---------------------------------------------------------------------------------------------+

rescaledData.select(rescaledData['features'].getItem('values')).show()

Но вместо массива я получил ошибку. 

AnalysisException: u"Can't extract value from features#1786: need struct type but got struct<type:tinyint,size:int,indices:array<int>,values:array<double>>;"

Что я хочу, это 

+--------------------------+-----------------------------------------------------------+
|words                     |features                                                   |
+--------------------------+-----------------------------------------------------------+
|[a, b, c]                 |[0.6363067860791387, 1.0888040725098247, 4.371858972705023]|
+--------------------------+-----------------------------------------------------------+

Как это исправить

Ответы [ 2 ]

2 голосов
/ 29 февраля 2020

Другой вариант - создать udf для получения значений из разреженного вектора: 

from pyspark.sql.functions import udf
from pyspark.sql.types import DoubleType, ArrayType

sparse_values = udf(lambda v: v.values.tolist(), ArrayType(DoubleType()))
df.withColumn("features", sparse_values("features")).show(truncate=False)

+---------+-----------------------------------------------------------+
|word     |features                                                   |
+---------+-----------------------------------------------------------+
|[a, b, c]|[0.6363067860791387, 1.0888040725098247, 4.371858972705023]|
|[d]      |[2.729945780576634]                                        |
+---------+-----------------------------------------------------------+
1 голос
/ 27 февраля 2020

подготовка данных 

from pyspark.ml.linalg import Vectors, SparseVector
from pyspark.sql import Row
df = spark.createDataFrame(
    [
     [["a","b","c"], SparseVector(4527, {0:0.6363067860791387, 1:1.0888040725098247, 31:4.371858972705023})],
     [["d"], SparseVector(4527, {8: 2.729945780576634})],
    ], ["word", "features"])

с использованием rdd для получения значения sparsevector 

df.rdd.map(lambda x: Row(word=x["word"], features=x["features"].values.tolist())).toDF().show()

+--------------------+---------+
|            features|     word|
+--------------------+---------+
|[0.63630678607913...|[a, b, c]|
| [2.729945780576634]|      [d]|
+--------------------+---------+
...