Как найти разницу комбинации данных в Spark Scala? - PullRequest
0 голосов
/ 07 ноября 2019

например:

+------+
|items |
+------+
|     1|
|    14|
|    11|
|     3|
|     0|
|  0,13|
|     8|
|     7|
|  7,11|
|    13|
+------+

Я хочу вычесть каждое значение столбца с другими значениями того же столбца. например, вычтите 1 со всеми другими значениями, затем 14 со всеми другими значениями, например, до 13. Как это возможно?

Я пробовал с помощью функции udf, но она не работает.

 df.rdd.foreach(x => {
  val firstPoint= x.toSeq.toArray.map({
    case s: String => s.toInt
    case l: Long => l.toInt
    case d :Double => d.toInt
    case i : Int => i.toInt
    case f : Float => f.toInt
     })
     println(firstPoint.deep)
    items =  items.withColumn("col" + i, freq(firstPoint)(df.col("items")))
     i = i + 1
   })

Показывает ошибку нулевого указателя.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...