Замените минимальные значения на среднее значение во фрейме данных, используя scala - PullRequest
0 голосов
/ 20 апреля 2020

Привет! У меня есть фрейм данных со следующей

 |-- id: float (nullable = true)
 |-- time_in_unix: float (nullable = true)
 |-- flow_rate_gpm: float (nullable = true)
 |-- pressure_psi: float (nullable = true)
 |-- pressure_1_psi: float (nullable = true)
 |-- density_ppg: float (nullable = true)

схемой в качестве фрейма данных в scala Я хочу заменить минимальные значения на средние значения для каждого столбца в фрейме данных.

import org. apache .spark. sql .functions._ val минимум = castedDF.agg (min ($ "плотность_ppg")) val meanofdata = castedDF.agg (среднее ($ "плотность_ppg")) val newsdf = castedDF .withColumn ("density_ppg", когда (col ("плотность_ппг") === минимум, среднее значение данных) .otherwise (col ("плотность_ппг"))); Я пытался сделать выше, но мне нужен подход класса и объекта.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...