Программирование Apache spark 2.0 с котлином

Question

Я хочу использовать kotlin для программирования в Spark 2.0.

Я добавил jar-файлы spark и могу использовать JavaSparkContext в своем коде, но не могу использовать kotlin в spark 2.0.

, когда использую SparkSession следующим образом:

SparkSession sc = SparkSession.builder(). ...

Я получаю эту ошибку: Неразрешенная ссылка: sparkSession

Возможно ли использовать Kotlin для программирования в Spark 2.0?Если да, как я могу это сделать?

Answer 1

Можно ли использовать Kotlin для программирования в Spark 2.0?

Да, это язык JVM с очень хорошим взаимодействием Java, и Spark можно использовать из Java.

Если да, как я могу это сделать?

Возьмите примеры Java (не Scala) и конвертируйте их в Kotlin .

SparkSession sc = SparkSession.builder()

не является законным Kotlin (и не выдаст ошибку, которую вы даете, так как она не упоминает sparkSession).Это должно быть

val sc = ...

или

val sc: SparkSession = ...