У объекта 'CrossValidatorModel' нет атрибута 'featureImportances' - PullRequest
Новая
       121

У объекта 'CrossValidatorModel' нет атрибута 'featureImportances'

0 голосов
/ 03 декабря 2018

Я пытаюсь извлечь значение особенности модели random forest classifier, которую я обучил с использованием Pyspark.Я сослался на следующую статью, чтобы получить оценки важности функций для модели случайного леса, которую я обучал.

PySpark & ​​MLLib: Значения функций случайного леса

Однако, как яиспользовать метод, описанный в этой статье, я получаю следующую ошибку 

'CrossValidatorModel' object has no attribute 'featureImportances'

Вот код, который я использовал для обучения моей модели 

cols = new_data.columns
stages = []
label_stringIdx = StringIndexer(inputCol = 'Bought_Fibre', outputCol = 'label')
stages += [label_stringIdx]
numericCols = new_data.schema.names[1:-1]
assembler = VectorAssembler(inputCols=numericCols, outputCol="features")
stages += [assembler]

pipeline = Pipeline(stages = stages)
pipelineModel = pipeline.fit(new_data)
new_data.fillna(0, subset=cols)
new_data = pipelineModel.transform(new_data)
new_data.fillna(0, subset=cols)
new_data.printSchema()


train_initial, test = new_data.randomSplit([0.7, 0.3], seed = 1045)
train_initial.groupby('label').count().toPandas()
test.groupby('label').count().toPandas()

train_sampled = train_initial.sampleBy("label", fractions={0: 0.1, 1: 1.0}, seed=0)
train_sampled.groupBy("label").count().orderBy("label").show()



labelIndexer = StringIndexer(inputCol='label',
                             outputCol='indexedLabel').fit(train_sampled)

featureIndexer = VectorIndexer(inputCol='features',
                               outputCol='indexedFeatures',
                               maxCategories=2).fit(train_sampled)

from pyspark.ml.classification import RandomForestClassifier
rf_model = RandomForestClassifier(labelCol="indexedLabel", featuresCol="indexedFeatures")

labelConverter = IndexToString(inputCol="prediction", outputCol="predictedLabel",
                               labels=labelIndexer.labels)


pipeline = Pipeline(stages=[labelIndexer, featureIndexer, rf_model, labelConverter])

paramGrid = ParamGridBuilder() \
    .addGrid(rf_model.numTrees, [ 200, 400,600,800,1000]) \
    .addGrid(rf_model.impurity,['entropy','gini']) \
    .addGrid(rf_model.maxDepth,[2,3,4,5]) \
    .build()

crossval = CrossValidator(estimator=pipeline,
                          estimatorParamMaps=paramGrid,
                          evaluator=BinaryClassificationEvaluator(),
                          numFolds=5)    


train_model = crossval.fit(train_sampled)

Пожалуйста, помогите устранить вышеупомянутую ошибку и помогитеизвлечь особенности

1 Ответ

0 голосов
/ 03 декабря 2018

Это потому, что модель CrossValidator не имеет атрибута важности функции.

С другой стороны, модель RandomForest имеет.

Поскольку вы используете Pipeline и CrossValidator для подгонки своих данных, вам необходимо получить базовую стадию лучшей подходящей модели: 

your_model = cvModel.bestModel.stages[2] # index of your RandomForestModel
var_imp = your_model.featureImportances
...