Объединить столбцы со списком столбцов в Apache Spark DataFrame

Question

Есть ли способ в spark-sql добавить новый столбец в кадре данных, такой что:

• новый столбец содержит массивы строк
• каждая строка является значениемдругой столбец

В основном это то же самое, что и функция concat, за исключением того, что конкатенация возвращает список строк вместо большой строки, разделенной идентификатором

Примечание: Iиспользую Python API

Answer 1

вы можете использовать встроенную функцию array.В Scala это будет выглядеть так:

df
.withColumn("col_arr",array(df.columns.map(c => col(c)):_*))