Вызов LinearRegression.fit () приводит к сбою программы независимо от того, какой столбец я пытаюсь использовать

Question

Я пытаюсь тренироваться на наборе данных, но независимо от того, какой столбец я выбираю (или даже когда создаю несуществующий столбец), я получаю ошибки:

        1) u'Field "prediction_1" does not exist.\nAvailable fields: features, prediction'

        2) u'requirement failed: Column prediction already exists.

Код в настоящее время выглядит следующим образом:

    dt = LinearRegression(featuresCol="features", labelCol="prediction", maxIter=10, regParam=0.3, elasticNetParam=0.8)

    predictions = crossval.fit(trainingData).transform(trainingData)
    bins = predictions.select("prediction").distinct().collect()
    for row in bins:
        rows = predictions.select(["features", "prediction"]).filter(predictions.prediction == row.prediction)
        dt_model = dt.fit(rows)

Что я делаю неправильно?