Как исключить процентили из резюме Спарк ()

Question

Функция Spark summary() возвращает количество, среднее, стандартное отклонение и 25/50/75% процентили.

Возможно ли вычислить только count, mean и stddev?

Answer 1

Полагаю, вы говорите о функции summary () наборов данных.

В этом случае это должно работать:

yourDataset.summary( "count", "min", "stddev" ).show()

На основании https://spark.apache.org/docs/2.3.0/api/scala/index.html#org.apache.spark.sql.Dataset