Привет! Я обучил модель Keras и сохранил ее в файле h5. Позже я использую этот файл h5 для прогнозирования на фрейме данных PySpark.
model = load_model(path_to_h5_file)
get_pred = udf(lambda x: model.predict_proba(np.array([x])).tolist()[0][0], FloatType())
assembler = VectorAssembler(inputCols=[list_of_input_columns], outputCol = "preds")
data_transformed = assembler.transform(input_dataframe)
dataset = data_transformed.select("preds")
preds = dataset.withColumn('p_1', get_pred('preds'))
После запуска последней строки я получаю ошибку ниже:
py4j.Py4JException : Method__getnewargs __ ([]) не существует
Пожалуйста, помогите мне решить эту проблему. Или дайте мне знать, если есть какой-нибудь альтернативный способ выполнить эту задачу. Заранее спасибо!