AttributeError: объект 'NoneType' не имеет атрибута '_jvm' - PullRequest
Новая
       68

AttributeError: объект 'NoneType' не имеет атрибута '_jvm'

0 голосов
/ 06 мая 2020

У меня ошибка AttributeError 

...    
jc = sc._jvm.functions.regexp_replace(_to_java_column(str), pattern, replacement)
AttributeError: 'NoneType' object has no attribute '_jvm'

со следующим кодом: 

def replace_to_spark_way(pattern, replace_text, str_to_check):
    return fs.regexp_replace(str_to_check, pattern, replace_text)

replace_from = partial(replace_to_spark_way, _MY_REGEXP, "__NAME__")

def generalizer_spark_way(text):
    """Generalizer for arguments."""
    text = replace_from(text)
    return text

def generalize_item(item):
    item['rep'] = generalizer_spark_way(item["gen"])
    return item

generalized_Rdd = df.map(js_loads).map(generalize_item) 
generalized_df = spark.createDataFrame(generalized_Rdd, dfSchema)

У меня более одной частичной функции, это просто пример, чтобы выявить проблему. а df загружается как:

df = spark.read.load(path_to_data).select(*columns).toJSON()

Я не знаю, в чем проблема ...

Заранее спасибо ..

...