ошибка: перегруженное значение метода выбирается с альтернативами: - PullRequest
0 голосов
/ 04 ноября 2018

Я читаю файл CSV в dataframe1, а затем фильтрую некоторые столбцы в dataframe2, при выборе столбцов для dataframe2 из dataframe1 я хочу применить свою функцию к значению столбца. Как

import utilities._
val Logs = sqlContext.read
  .format("csv")
  .option("header", "true")
  .load("dbfs:/mnt/records/Logs/2016.07.17/2016.07.17.{*}.csv")
val Log = Logs.select(
  "key1",
  utility.stringToGuid("username"),
  "key2",
  "key3",
  "startdatetime",
  "enddatetime")
display(Log)

вот я и звоню utility.stringToGuid("username"). И это дает мне ошибку:

notebook:5: error: overloaded method value select with alternatives:
  (col: String,cols: String*)org.apache.spark.sql.DataFrame <and>
  (cols: org.apache.spark.sql.Column*)org.apache.spark.sql.DataFrame

1 Ответ

0 голосов
/ 20 ноября 2018

Так что на самом деле я нашел ответ на свой вопрос. На самом деле я передавал строку «имя пользователя» в служебную функцию вместо передачи значения столбца «имя пользователя». Таким образом, в аргументе это должно быть похоже на utility.stringToGuid ($ "username"). В scala $ "" используется для отправки столбца введите здесь код значения и в python используется col ().

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...