Я пытаюсь вычислить де Колмогорова Тест Смирнова в SCALA с распределением [6,6], предполагая, что в оригинале все значения, где одинаковые P (6) = 1. Это способ, которым я пытаюсь для:
val data: RDD[Double] = sc.parallelize(Seq(6, 6))
val myCDF = Map(6 -> 1)
val testResult2 = Statistics.kolmogorovSmirnovTest(data, myCDF)
println(testResult2)
Это ошибка, которую я получил:
notebook:3: error: overloaded method value kolmogorovSmirnovTest with alternatives: (data: org.apache.spark.api.java.JavaDoubleRDD,distName: String,params: Double*)org.apache.spark.mllib.stat.test.KolmogorovSmirnovTestResult <and> (data: org.apache.spark.rdd.RDD[Double],distName: String,params: Double*)org.apache.spark.mllib.stat.test.KolmogorovSmirnovTestResult <and> (data: org.apache.spark.rdd.RDD[Double],cdf: Double => Double)org.apache.spark.mllib.stat.test.KolmogorovSmirnovTestResult cannot be applied to (org.apache.spark.rdd.RDD[Double], scala.collection.immutable.Map[Int,Int]) val testResult2 = Statistics.kolmogorovSmirnovTest(data, myCDF)
Кто-нибудь знает, почему это не работает?
Кроме того, знаете ли вы, если это возможно сделать в PySpark? Или мне нужно исключить код SCALA из PySpark?
Спасибо!