Как выполнить простой t-тест в Spark?

Question

Моя цель - выполнить t-тест в Spark Scala с помощью метода, описанного в https://spark.apache.org/docs/2.0.2/api/java/org/apache/spark/mllib/stat/test/StudentTTest.html. Давайте предположим, что мои данные приведены во фрейме данных:

val df = Seq((1, 3), (-2, 5), (0, 4), (3, -1), (2, -1)).toDF("group1", "group2")

Теперь я попробовал

import org.apache.spark.mllib.stat.test
val ttestResult = test.StudentTTest(df)

но я получил ошибку: <console>:29: error: object StudentTTest in package test cannot be accessed in package org.apache.spark.mllib.stat.test

Что я делаю не так?

Answer 1

Это потому, что вы, вероятно, используете Spark 2.2 или Spark 2.3, которые не рекомендовали этот метод. См. Org.apache.spark.ml.stat и org.apache.spark.mllib.stat.test https://spark.apache.org/docs/2.2.0/api/scala/index.html#org.apache.spark.package