Scala сокращение $ для преобразования строки в столбец не распознает строковую переменную

Question

Я хочу использовать сокращение $ с приложениями Spark, написанными на Scala. Но у меня есть большое количество столбцов, на которые я хотел бы ссылаться с помощью переменных. В то же время я хочу использовать сокращенную запись $ для строк, содержащих имя столбца.

df.select($"col1") // works
val columnName = "col1"
df.select($columnName) // gives error

Как использовать переменную columnName с сокращением $?

Answer 1

Возможно, вы захотите.

val columnName = $"col1"
df.select(columnName)

$ - это ярлык для new ColumnName("name")

Answer 2

Никто не упомянул одну очень важную вещь - $ - это неявное преобразование StringToColumn.

Вы импортировали spark.implicits._, где spark - ваш объект SparkSession?

Это должно решить ваши проблемы: -)

Answer 3

Вы также можете использовать функцию col.

df.select($"col1") 
val columnName = col("col1")
df.select(columnName)