Я написал ниже функцию в pyspark, чтобы получить deptid и вернуть фрейм данных, который я хочу использовать в spark sql.
def get_max_salary (deptid):
sql_salary = "выберите max (зарплату) из empoyee, где depid = {}"
df_salary = spark.sql (sql_salary.format (deptid)) return df_salary spark.udf.register ('get_max_salary', get_max_salary)
Однако я получаю сообщение об ошибке ниже.Я искал в Интернете, но нигде не смог найти правильного решения.Может кто-нибудь, пожалуйста, помогите мне здесь
Сообщение об ошибке - PicklingError: Не удалось сериализовать объект: Исключение: Похоже, что вы пытаетесь сослаться на SparkContext из широковещательной переменной, действия или преобразования.SparkContext может использоваться только в драйвере, а не в коде, который он запускает на рабочих.Для получения дополнительной информации см. SPARK-5063.