Как получить минимальное и максимальное количество кластеров - PullRequest
Новая
       6

Как получить минимальное и максимальное количество кластеров

0 голосов
/ 31 января 2019

Я создал программу Scala для применения k-средних в определенном столбце данных.Имя кадра данных: df_items, а имя столбца - price. 

import org.apache.spark._
import org.apache.spark.sql.types._
import org.apache.spark.ml.clustering._
import org.apache.spark.ml.feature.VectorAssembler 

val df_items  = spark.read.format("csv").option("header","true").load(path.csv)

// need to cast because df_items("price") is String
df_items.createGlobalTempView("items")
val price = spark.sql("SELECT cast(price as double) price FROM global_temp.items")
case class Rows(price:Double)
val rows = price.as[Rows]
val assembler = new VectorAssembler().setInputCols(Array("price")).setOutputCol("features")
val data = assembler.transform(rows)
val kmeans = new KMeans().setK(6)
val model = kmeans.fit(data)
val predictions = model.summary.predictions

Результат прогнозов: 

+------+--------+----------+
| price|features|prediction|
+------+--------+----------+
|  58.9|  [58.9]|         0|
| 239.9| [239.9]|         3|
| 199.0| [199.0]|         5|
| 12.99| [12.99]|         0|
| 199.9| [199.9]|         5|
|  21.9|  [21.9]|         0|
|  19.9|  [19.9]|         0|
| 810.0| [810.0]|         1|
|145.95|[145.95]|         5|
| ...  |   ...  |    ...   |

Моя цель - получить минимальное и максимальное значение кластера (или все кластеры).Это возможно?

Большое спасибо

1 Ответ

0 голосов
/ 31 января 2019

Если я правильно понимаю ваш вопрос, вы можете использовать groupBy для группировки по столбцу прогноза. 

predictions.groupBy("prediction")
           .agg(min(col("price")).as("min_price"),
                max(col("price")).as("max_price"))

Вам это нужно?

...