У меня проблема при отправке задания на спарк, работающий на пряже, у меня работает простой код:
transactions = data3.map((Function<String, List<String>>) line -> Arrays.asList(line.split(" ")));
FPGrowth fpg = new FPGrowth()
.setMinSupport(minSupport)
.setNumPartitions(10);
FPGrowthModel<String> model2 = fpg.run(transactions);
, и я получаю эту ошибку:
Caused by: java.lang.ClassCastException: cannot assign instance of java.lang.invoke.SerializedLambda to field org.apache.spark.api.java.JavaPairRDD$$anonfun$toScalaFunction$1.fun$1 of type org.apache.spark.api.java.function.Function in instance of org.apache.spark.api.java.JavaPairRDD$$anonfun$toScalaFunction$1
моя проблема в том, что я использовал setjars с выходным jar-файлом моего проекта, но он не решает эту проблему, кто-нибудь нашел решение для этого?где находится файл лямбда-jar, который нужно загрузить?