python имеет атрибут .powers_ в функции PolynomialFeatures, хотите найти аналогичный атрибут в функции PolynomialExpansion в pyspark - PullRequest
Новая
       7

python имеет атрибут .powers_ в функции PolynomialFeatures, хотите найти аналогичный атрибут в функции PolynomialExpansion в pyspark

0 голосов
/ 08 апреля 2019

Я пытаюсь найти атрибут, который работает аналогично .powers_ attribute в PolynomialFeatures (функция python) для функции PolynomialExpansion в pyspark

Я провел какое-то исследование, но не смог его найти

'' 'pypsark' ''

''» из pyspark.ml.feature import PolynomialExpansion 

from pyspark.ml.linalg import Vectors

df = spark.createDataFrame([
(Vectors.dense([1,2,3]),),
(Vectors.dense([1,2,3]),),
(Vectors.dense([1,2,3]),)
], ["features"])
polyExpansion=
PolynomialExpansion(degree=2,inputCol="features",outputCol="po 
 lyFeatures")

 polyDF = polyExpansion.transform(df)

 polyDF.show()

'' 'Питон' '' 

poly = PolynomialFeatures(degree=2, interaction_only=False, 
include_bias=False)

res = poly.fit_transform(poly_df)

poly.powers_(this is available in python,looking for a similar attribute 
in pyspark)

'' 'результат в python для .poly.powers _' '' 

array([[1, 0, 0, 0],
    [0, 1, 0, 0],
   [0, 0, 1, 0],
   [0, 0, 0, 1],
   [2, 0, 0, 0],
   [1, 1, 0, 0],
   [1, 0, 1, 0],
   [1, 0, 0, 1],
   [0, 2, 0, 0],
   [0, 1, 1, 0],
   [0, 1, 0, 1],
   [0, 0, 2, 0],
   [0, 0, 1, 1],
   [0, 0, 0, 2]], dtype=int64)
...