например:
+------+
|items |
+------+
| 1|
| 14|
| 11|
| 3|
| 0|
| 0,13|
| 8|
| 7|
| 7,11|
| 13|
+------+
Я хочу вычесть каждое значение столбца с другими значениями того же столбца. например, вычтите 1 со всеми другими значениями, затем 14 со всеми другими значениями, например, до 13. Как это возможно?
Я пробовал с помощью функции udf, но она не работает.
df.rdd.foreach(x => {
val firstPoint= x.toSeq.toArray.map({
case s: String => s.toInt
case l: Long => l.toInt
case d :Double => d.toInt
case i : Int => i.toInt
case f : Float => f.toInt
})
println(firstPoint.deep)
items = items.withColumn("col" + i, freq(firstPoint)(df.col("items")))
i = i + 1
})
Показывает ошибку нулевого указателя.