Scala, Spark-shell, Groupby не работает

Question

У меня Spark версии 2.4.0 и scala версии 2.11.12.Я могу успешно загрузить фрейм данных с помощью следующего кода.

val df = spark.read.format("csv").option("header","true").option("delimiter","|").option("mode","DROPMALFORMED").option("maxColumns",60000).load("MAR18.csv")

Однако, когда я пытаюсь выполнить групповое выполнение следующих действий, я получаю сообщение об ошибке.

df.groupby("S0102_gender").agg(sum("Respondent.Serial")).show()

Сообщение об ошибке:

ошибка: значение groupby не является членом org.apache.spark.sql.DataFrame

Чего мне не хватает?Полный Scala и Spark Newb.

Answer 1

Вместо groupby это должен быть groupBy, как показано ниже ... явно ошибка опечатки.

df.groupBy("S0102_gender").agg(sum("Respondent.Serial")).show()

Answer 2

У вас есть опечатка

Изменить

    groupby

На

    groupBy