Спарк и сюрприз MAE и RMSE составляет 0,0 - PullRequest
Новая
       48

Спарк и сюрприз MAE и RMSE составляет 0,0

0 голосов
/ 28 июня 2019

Я обучаю свою модель рекомендации для библиотеки сюрпризов в искровой среде со следующим кодом 

def fit(data):
    trainset = data["train"]
    testset = data["test"]

    sim_options = { "name": "cosine", "user_based": False }
    model = KNNBasic(sim_options=sim_options)
    model.fit(trainset)

    predictions = model.test(testset)
    return accuracy.rmse(predictions)

# KNN Basic with cosine
print("Item-based with cosine")
data = [dm.loadData(spark)]

predictions = spark.sparkContext \
 .parallelize(data, 1) \
 .map(fit) \
 .collect()

print(predictions)

Я возвращаю RMSE, и это значение равно 0.0. Когда я запускаю этот код поезда на моей локальной машине, это 4.5. Кто-нибудь может мне помочь с этой проблемой?

...