Не удалось сериализовать объект: Исключение: похоже, вы пытаетесь сослаться на SparkContext из широковещательной переменной - PullRequest
Новая
       6

Не удалось сериализовать объект: Исключение: похоже, вы пытаетесь сослаться на SparkContext из широковещательной переменной

0 голосов
/ 06 февраля 2020

При возникновении проблемы при регистрации пользовательской функции в spark с использованием кода python выдается сообщение об ошибке " Не удалось сериализовать объект: Исключение: похоже, вы пытаетесь сослаться на SparkContext из широковещательной переменной action, action, или преобразование"

Вот фрагмент кода. 

    %python

    def checkColumnNames(columnName,inputFilePath):
      filePath = inputFilePath
      data = spark.read.parquet(filePath)
      columnNames = data.limit(1).columns
      toreturn = 0
      if columnName in columnNames:
        toreturn = 1
      else:
        toreturn = 0

      return (toreturn)

    sqlContext.udf.register("checkColumnNames", checkColumnNames)

Может кто-нибудь помочь мне в этом?

...