Spark DataFrames и карта и функции сокращения - PullRequest
0 голосов
/ 11 апреля 2020

Можно ли выполнять операции уменьшения карты с использованием DataFrames или GraphFrames?

Я знаю, что функции карты и сокращения - это RDD-specfi c.

Я экспериментировал с DataFrames и т.д. пока что все, что я мог сделать, это выполнять простые операции SQL.

Есть ли в DataFrames эквивалент для функций отображения / уменьшения RDD?

Зачем мне это нужно: Я смоделировал график с использованием DataFrames и GraphFrames и хочу выполнить map-Reduction на его узлах, чтобы сгруппировать подобные узлы в кластеры.

Я новичок с искрой, поэтому извините мой вопрос, если это глупо.

...