Я хочу выполнить перекрестную проверку в k-кратном порядке, используя pyspark для точной настройки параметров, и я использую pyspark.ml.
Я получаю ошибку атрибута.
AttributeError: у объекта «DataFrame» нет атрибута «_jdf»
Сначала я пытался использовать pyspark.mllib, но не смог выполнить перекрестную проверку в k-кратном порядке
import pandas as pd
from pyspark import SparkConf, SparkContext
from pyspark.ml.classification import DecisionTreeClassifier
data=pd.read_csv("file:///SparkCourse/wdbc.csv", header=None)
type(data)
print(data)
conf = SparkConf().setMaster("local").setAppName("SparkDecisionTree")
sc = SparkContext(conf = conf)
# Create initial Decision Tree Model
dt = DecisionTreeClassifier(labelCol="label", featuresCol="features",
maxDepth=3)
# Train model with Training Data
dtModel = dt.fit(data)
# I expect the model to be trained but I'm getting the following error
AttributeError: 'DataFrame' object has no attribute '_jdf'
Примечание : я могу напечатать данные. Ошибка в dtModel