import org.apache.spark.sql.{DataFrame, Column, SparkSession}
object addColumn {
def main(args: Array[String]): Unit = {
println("hi")
val spark = SparkSession.builder.appName("sample spark job").config("spark.master", "local").getOrCreate()
import spark.implicits._
val df = Seq((1,"a"),(2,"aa"),(3,"bc")).toDF("num","string")
val newDf = df.withColumn("newColumn", $"string".contains("a"))
newDf.show()
}
def addColumn(df:DataFrame, fixedString: String, columnName: String): DataFrame = {
df.withColumn(columnName, $"string".contains(fixedString))
}
}
У меня есть такой код в Scala Spark, и основная цель этого кода - добавить новый столбец в DataFrame Spark.Метод $ не может быть распознан в методе addColumn, кто-нибудь знает, почему и как это исправить?