IForest искры скала

Question

Я пытаюсь использовать scala реализацию IForest https://github.com/titicaca/spark-iforest,, но когда я строю (как сообщалось в README с mvn clean package), это выдает мне следующие ошибки:

[<b>ERROR</b>] IsolationForest_Spark/spark-iforest/src/main/scala/org/apache/spark/ml/iforest/IForest.scala:290: 
        error: value getAndSetParams is not a member of object org.apache.spark.ml.util.DefaultParamsReader
[<b>ERROR</b>]       DefaultParamsReader.getAndSetParams(model, metadata)
[<b>ERROR</b>]                           ^
[<b>ERROR</b>] IsolationForest_Spark/spark-iforest/src/main/scala/org/apache/spark/ml/iforest/IForest.scala:480:
        error: value create is not a member of object org.apache.spark.ml.util.Instrumentation
[<b>ERROR</b>]     val instr = Instrumentation.create(this, rddPerTree)

кто-то знает почему?Спасибо

scala версия 2.11.12
spark версия 2.4.0
maven версия 3.5.2

Я изменил pom.xml, скорректировав версию scala, spark иmaven, но я оставляю те же зависимости.

Answer 1

Я только что обновил spark-iforest до последней версии spark.

https://github.com/titicaca/spark-iforest

Веселись;)

Answer 2

Проект был обновлен с момента написания этого ответа, см. ответ ФЗЯнга .

Искра iforest использует внутренний API искры getAndSetParams, который был перемещенв спарк 2.4.0 согласно этот коммит и выпуск SPARK-23455 .

Похоже, что если iforest был скомпилирован с spark 2.2.0 , то вам, вероятно, стоит начать с этой версии.

Вы можете попробовать предыдущую версию (2.3.2)но если есть другие критические изменения, которые тоже могут не сработать.