Я читаю файл CSV в dataframe1, а затем фильтрую некоторые столбцы в dataframe2, при выборе столбцов для dataframe2 из dataframe1 я хочу применить свою функцию к значению столбца. Как
import utilities._
val Logs = sqlContext.read
.format("csv")
.option("header", "true")
.load("dbfs:/mnt/records/Logs/2016.07.17/2016.07.17.{*}.csv")
val Log = Logs.select(
"key1",
utility.stringToGuid("username"),
"key2",
"key3",
"startdatetime",
"enddatetime")
display(Log)
вот я и звоню utility.stringToGuid("username")
. И это дает мне ошибку:
notebook:5: error: overloaded method value select with alternatives:
(col: String,cols: String*)org.apache.spark.sql.DataFrame <and>
(cols: org.apache.spark.sql.Column*)org.apache.spark.sql.DataFrame