как переписать это Scala withColumn при условии

Question

У меня есть некоторый код Scala, который работает, когда я запускаю вручную в Spark EMR, но я получаю ошибки, когда пытаюсь скомпилировать в Eclipse.

val tmp_df2 = tmp_df1.withColumn("col_one", when($"col_two" === "good", "bad").otherwise($"col_one"))

Когда я запускаю «Maven install», он говорит «ошибка: не найдено: значение когда». Но я знаю, что код работает в EMR.

Итак, есть ли другой способ указать это условие, не используя «когда»?

Answer 1

Вам может потребоваться импортировать функцию зажигания следующим образом:

import org.apache.spark.sql.functions.when

или

import org.apache.spark.sql.functions._