Как отобразить один столбец данных в другой столбец в Apache Spark Scala?

Question

Я создал фрейм данных из файла CSV. Он имеет 10 столбцов, две из которых - актриса и название фильма. Я хочу сделать актрису ключом, а название - ценностью, а затем хочу уменьшить ее ключ, чтобы получить список фильмов для каждой актрисы. В этом случае я должен сначала сопоставить столбец актрисы с заголовком фильма. Итак, как получить кортежи актрисы, пары «ключ-значение» в «Spark scala». Кроме того, я хочу сделать это с использованием основных операций, а не SparkSQL.

Answer 1

Предложение: Низкое качество вопроса, вы должны сначала найти примеры в Интернете, а затем

val df = ???

val moviesByActressDF = df.groupBy("actress_col")
.agg(collect_list("movie_col"))

Надеюсь, это поможет, ура