Исключение: похоже, что вы пытаетесь сослаться на SparkContext из широковещательной переменной, действия или преобразования. - PullRequest
Новая
       8

Исключение: похоже, что вы пытаетесь сослаться на SparkContext из широковещательной переменной, действия или преобразования.

0 голосов
/ 05 августа 2020

Я пытаюсь написать функцию в Azure блоках данных. Я хотел бы зажечь. sql внутри функции. Но похоже, что я не могу использовать его с рабочими узлами. 

def SEL_ID(value, index):
    # some processing on value here
    ans = spark.sql("SELECT id FROM table WHERE bin = index")
    return ans
spark.udf.register("SEL_ID", SEL_ID)

Я получаю следующую ошибку: PicklingError: Could not serialize object: Exception: It appears that you are attempting to reference SparkContext from a broadcast variable, action, or transformation. SparkContext can only be used on the driver, not in code that it run on workers. For more information, see SPARK-5063.

Можно ли как-нибудь с этим справиться? Я использую указанную выше функцию для выбора из другой таблицы.

...