Как разместить массив Scala в столбце Spark DataFrame?

Question

Моя проблема в том, что я работаю с DataFrame и хочу:

1) Получить один столбец с val column = dataframe.select("columnName").collect() или аналогичным

2) Выполнить некоторые операции с этим массивом,Эта часть еще не ясна, но приведет к изменению некоторых элементов массива

3) Перезапишите столбец DataFrame с результатами из 2)

Что будетлучший способ сделать это?

Answer 1

вы должны либо

• собрать столбец вместе с уникальным идентификатором, чтобы вы могли присоединить его обратно к вашему фрейму данных (вы можете конвертировать преобразованный массив обратно в фрейм данных, используя array.toDF).Однако эта опция не масштабируется, так как вам необходимо собрать в процесс драйвера

• применить UDF, если ваша логика применима для каждой строки