Я получаю следующую ошибку в Scala spark при запуске Seq [Column] - PullRequest
0 голосов
/ 12 марта 2019

Ошибка:

<console>:195: error: not found: type Column
       val aggExprs: Seq[Column] = output.columns.filterNot(_=="id")

Код ниже:

val df =Seq(
  (1, 1.0, true, "a"),
  (1, 2.0, false, "b")
).toDF("id","d","b","s")

val dataTypes: Map[String, DataType] = df.schema.map(sf => 
(sf.name,sf.dataType)).toMap

def genericAgg(c:String) = {
  dataTypes(c) match {
    case DoubleType => sum(col(c))
    case StringType => concat_ws(",",collect_list(col(c))) // "append"
    case BooleanType => max(col(c))
  }
}

**val aggExprs: Seq[Column] = df.columns.filterNot(_=="id")**
    .map(c => genericAgg(c))

df
  .groupBy("id")
  .agg(
    aggExprs.head,aggExprs.tail:_*
  )
  .show()
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...