Расчет плотности ядра каждого столбца в кадре данных Spark

Question

Есть ли способ рассчитать KDE каждого столбца DataFrame?

У меня есть DataFrame, где каждый столбец представляет значения одного объекта.Для функции KDE Spark MLLib требуется RDD[Double] значений выборки.Проблема в том, что мне нужно найти способ, не собирая значения для каждого столбца, потому что это сильно замедлит работу программы.

У кого-нибудь есть идеи, как мне это решить?К сожалению, все мои попытки провалились до сих пор.

Answer 1

Вероятно, вы можете создать новый СДР, используя функцию примера ( см. Здесь ), а затем выполнить свою операцию, чтобы получить оптимальную производительность.