Ошибка Scala: не найдено: значение spark_partition_id

Question

В spark-shell у меня не было этой проблемы (Line1), когда я звонил Line2.

Line1: not found: value spark_partition_id
Line2: val countPerCustomPartition = businessesDataFrameCustomPartition.groupBy(spark_partition_id).count

Затем, когда я позвонил spark-submit, у меня возникла проблема.Я не видел этого раньше в StackOverflow, и это оказалось простым, но не очевидным решением проблемы.

• Scala 2.11.8
• Spark 2.3.2

Answer 1

Добавьте эту строку в начало вашего класса Scala:

import org.apache.spark.sql.functions.spark_partition_id