Не удается создать экземпляр класса BinaryClassificationMetrics в Spark

Question

Я работаю над Spark Mllib в Scala впервые, и у меня возникают проблемы с созданием экземпляра класса BinaryClassificationMetrics.Это выдает ошибку Cannot resolve constructor, даже если я отформатирую его ввод как RDD Tuples, как требуется.Есть идеи, что может пойти не так?

def modelEvaluation(model: PipelineModel, test: DataFrame): Unit = {
 // Make a prediction on the test set
    val predictionAndLabels = model.transform(test)
      .select("prediction","label")
      .rdd
      .map(r => (r(0),r(1)))
      /*.collect()
      .foreach(r => println(r))*/

    // Instantiate metrics object
    val metrics = new BinaryClassificationMetrics(predictionAndLabels)

    // Precision-Recall Curve
    //val PRC = metrics.pr
  }

Answer 1

BinaryClassificationMetrics нужно RDD[(Double, Double)], подробно: https://spark.apache.org/docs/2.4.0/api/scala/index.html#org.apache.spark.mllib.evaluation.BinaryClassificationMetrics

, поэтому вы можете изменить это так:

def modelEvaluation(model: PipelineModel, test: DataFrame): Unit = {
  // Make a prediction on the test set
  val predictionAndLabels = model.transform(test)
    .select("prediction","label")
    .rdd
    .map(r => (r(0).toString.toDouble,r(1).toString.toDouble))

  // Instantiate metrics object
  val metrics = new BinaryClassificationMetrics(predictionAndLabels)

  // Precision-Recall Curve
  //val PRC = metrics.pr
}