$ нельзя использовать в отдельном методе Spark - PullRequest
0 голосов
/ 22 сентября 2019
import org.apache.spark.sql.{DataFrame, Column, SparkSession}

object addColumn {

  def main(args: Array[String]): Unit = {
    println("hi")
    val spark = SparkSession.builder.appName("sample spark job").config("spark.master", "local").getOrCreate()
    import spark.implicits._
    val df = Seq((1,"a"),(2,"aa"),(3,"bc")).toDF("num","string")
    val newDf = df.withColumn("newColumn", $"string".contains("a"))
    newDf.show()
  }

  def addColumn(df:DataFrame, fixedString: String, columnName: String): DataFrame = {
    df.withColumn(columnName, $"string".contains(fixedString))
  }
}

У меня есть такой код в Scala Spark, и основная цель этого кода - добавить новый столбец в DataFrame Spark.Метод $ не может быть распознан в методе addColumn, кто-нибудь знает, почему и как это исправить?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...