Я пытаюсь смоделировать некоторые данные с помощью логистической регрессии, части искры MLlib.Для создания модели у меня есть следующие столбцы:
ID,
features,
label
Я могу разделить их на данные Поезда и значения с помощью
(trainsample,testsample) = sample.randomSplit([0.7, 0.3], seed)
Также я могу определить свою модель:
lr = LogisticRegression(featuresCol="features", labelCol="label",
predictionCol="prediction")
Тогда я могу потренироваться и проверить это:
lrmodel = lr.fit(trainsample)
result = lrmodel.transform(testmodel)
Все хорошо.Но теперь я хочу использовать свою модель и прогнозировать немаркированные данные.Я всегда получаю следующую ошибку:
IllegalArgumentException: 'Field "label" does not exist
Я пытался создать столбец фиктивной метки (все значения 999).Но, кроме того, все мои предсказания относятся к одному классу (класс 6 для 7 разных классов).Таким образом, метка, кажется, влияет на мои прогнозы, даже с предварительно обученной моделью.
Может быть, "lrmodel.transform" просто для тестирования, и есть другой синтаксис для использования модели.Но я не нашел ничего по этой теме.Любая помощь будет оценена.