Spark withColumn не добавляет новый столбец в фрейм данных, обновлено

Question

Я пытаюсь добавить новый столбец в фрейм данных spark.Я также хочу сохранить переменную в столбце.Для этого я использую следующую ломаную строку кода:

val workProjection: Column = df.withColumn("working",df.select(workColumns: _*).columns.map(c => col(c)/60).reduce((c1, c2) => c1 + c2))("working")

В качестве альтернативы, следующая строка делает трюк:

val workProjection: Column =when(df("telfs") < 3, "working").otherwise("not working").as("working")

Почему вторая строка дает запрошенный результат, в то время какпервый нет?

Answer 1

Моя проблема в том, что когда я проверяю содержимое df после выполнения этой строки кода, столбцы отсутствуют

И это не должно быть.По мере выполнения всех операций в Spark withColumn создается новый DataFrame.Вместо проверки df вы должны проверить workProjection