Не удалось выполнить пользовательскую функцию (VectorAssembler - PullRequest
Новая
       15

Не удалось выполнить пользовательскую функцию (VectorAssembler

0 голосов
/ 05 апреля 2019

Я работаю с Kmeans как алгоритм кластеризации, мой код хочет выполнить и показывает мне эту ошибку: 

org.apache.spark.SparkException: Failed to execute user defined function(VectorAssembler$$Lambda$1525/671078904: (struct<latitude:double,longitude:double>) => struct<type:tinyint,size:int,indices:array<int>,values:array<double>>)
    at org.apache.spark.sql.catalyst.expressions.GeneratedClass$GeneratedIteratorForCodegenStage1.processNext(Unknown Source)

вот код кадра данных: 

val st = stations
    .withColumn("longitude", $"longitude".cast(sql.types.DoubleType))
    .withColumn("latitude", $"latitude".cast(sql.types.DoubleType))
val stationVA = new VectorAssembler()
    .setInputCols(Array("latitude","longitude"))
    .setOutputCol("location")
val stationWithLoc =stationVA.transform(st)

println("Assembled columns 'hour', 'mobile', 'userFeatures' to vector column 'location'")
stationWithLoc.select("name", "position").show(false)

stationWithLoc.printSchema()
stationWithLoc.show()

для схемыэто работает, но в случае, если я поставлю шоу, я получаю проблему.

...