Разделение значений не является членом org. apache .spark. sql .ColumnName

Question

Я пытаюсь сделать это:

.withColumn("System", when($"SysID".split("-").length > 3, $"SysID".split("-").take(3)).otherwise(null))

Но я получаю следующую ошибку:

ошибка: разделение значений не является членом org. apache .spark. sql .ColumnName

Что я могу сделать, чтобы использовать функцию разделения?

Спасибо.

Answer 1

Вы можете попробовать это:

df.withColumn("System", when(length(col("SysID"))> 3, split(col("SysID"), "_")))

Answer 2

split и length являются членами org. apache .spark. sql .functions , поэтому вы можете сделать: when(length(split($"SysID", "-")) > 3)