RobustScaler в PySpark - PullRequest
Новая
       50

RobustScaler в PySpark

4 голосов
/ 24 января 2020

Я хотел бы использовать RobustScaler для предварительной обработки данных. В sklearn это может быть найдено в 

sklearn.preprocessing.RobustScaler

. Тем не менее, я использую pyspark, поэтому я попытался импортировать его с помощью: 

 from pyspark.ml.feature import RobustScaler

Однако я получаю следующую ошибку: 

ImportError: cannot import name 'RobustScaler' from 'pyspark.ml.feature'

Как указывало pault, RobustScaler реализован только в pyspark 3. Я пытаюсь реализовать его следующим образом: 

class PySpark_RobustScaler(Pipeline):
    def __init__(self):
        pass

    def fit(self, df):
        return self

    def transform(self, df):
        self._df = df
        for col_name in self._df.columns:
            q1, q2, q3 = self._df.approxQuantile(col_name, [0.25, 0.5, 0.75], 0.00)
            self._df = self._df.withColumn(col_name, 2.0*(sf.col(col_name)-q2)/(q3-q1))
        return self._df

arr = np.array(
            [[ 1., -2.,  2.],
            [ -2.,  1.,  3.],
            [ 4.,  1., -2.]]
          )

rdd1 = sc.parallelize(arr)
rdd2 = rdd1.map(lambda x: [int(i) for i in x])
df_sprk = rdd2.toDF(["A", "B", "C"])
df_pd = pd.DataFrame(arr, columns=list('ABC'))

PySpark_RobustScaler().fit(df_sprk).transform(df_sprk).show()
print(RobustScaler().fit(df_pd).transform(df_pd))

Однако я обнаружил, что для получения того же результата sklearn мне нужно умножить результат на 2. Кроме того, я беспокоюсь, что если столбец имеет много значений, близких к нулю, межквартильный интервал q3-q1 может стать слишком маленьким и позволить результату расходиться, создавая нулевые значения.

У кого-нибудь есть предложения по его улучшению?

...