Ошибка обучения ниже, чем ошибка тестирования в модели случайного леса - PullRequest
Новая
       87

Ошибка обучения ниже, чем ошибка тестирования в модели случайного леса

0 голосов
/ 22 ноября 2018

Я работаю над моделью машинного обучения, и я не понимаю, какую модель выбрать или есть какая-то другая техника, которую я должен попробовать.Я работаю над «Случайным лесом», чтобы предсказать склонность к конвертации с сильно несбалансированным набором данных.Баланс классов для целевой переменной приведен ниже. 

   label   count                                                                
0    0.0  1,021,095
1    1.0    4459

Две модели, которые я обучал, использовали UpSampling, а затем - Undersampling.Ниже приведены коды, которые я использую для Upsampling и Undersampling 

train_initial, test = new_data.randomSplit([0.7, 0.3], seed = 2018)
train_initial.groupby('label').count().toPandas()
test.groupby('label').count().toPandas()

#Sampling Techniques --- Should be done one of these
#Upsampling ----
df_class_0 = train_initial[train_initial['label'] == 0]
df_class_1 = train_initial[train_initial['label'] == 1]
df_class_1_over = df_class_1.sample(True, 100.0, seed=99)
train_up = df_class_0.union(df_class_1_over)
train_up.groupby('label').count().toPandas()

#Down Sampling
stratified_train = train_initial.sampleBy('label', fractions={0: 3091./714840, 1: 1.0}).cache()
stratified_train.groupby('label').count().toPandas()

Ниже приведен пример тренировки моей модели 

labelIndexer = StringIndexer(inputCol='label',
                             outputCol='indexedLabel').fit(new_data)


featureIndexer = VectorIndexer(inputCol='features',
                               outputCol='indexedFeatures',
                               maxCategories=2).fit(new_data)

from pyspark.ml.classification import RandomForestClassifier
rf_model = RandomForestClassifier(labelCol="indexedLabel", featuresCol="indexedFeatures")

labelConverter = IndexToString(inputCol="prediction", outputCol="predictedLabel",
                               labels=labelIndexer.labels)

# Chain indexers and tree in a Pipeline
pipeline = Pipeline(stages=[labelIndexer, featureIndexer, rf_model, labelConverter])

# Search through random forest maxDepth parameter for best model
paramGrid = ParamGridBuilder() \
    .addGrid(rf_model.numTrees, [ 200, 400,600,800,1000]) \
    .addGrid(rf_model.impurity,['entropy','gini']) \
    .addGrid(rf_model.maxDepth,[2,3,4,5]) \
    .build()


# Set up 5-fold cross validation
crossval = CrossValidator(estimator=pipeline,
                          estimatorParamMaps=paramGrid,
                          evaluator=BinaryClassificationEvaluator(),
                          numFolds=5)    

train_model = crossval.fit(train_up/stratified_train)

Ниже приведены результаты обоих методов 

#UpSampling - Training                                 
Train Error = 0.184633
precision: 0.8565508112679312
recall: 0.6597217024736883                                            
auroc: 0.9062348758176568
f1 : 0.7453609484359377

#Upsampling - Test                                
Test Error = 0.0781619                             
precision: 0.054455645977569946
recall: 0.6503868471953579
auroc: 0.8982212236597943
f1 : 0.10049688048716704

#UnderSampling - Training                               
Train Error = 0.179293           
precision: 0.8468290542023261
recall: 0.781807131280389
f1 : 0.8130201200884863                                          
auroc: 0.9129391668636556

#UnderSamping - Test                               
Test Error = 0.147874
precision: 0.034453223699706645
recall: 0.778046421663443
f1 : 0.06598453935901905
auroc: 0.8989720777537427

Обращаясь к различным статьям о StackOverflow, я понимаю, что если ошибка теста ниже, чем ошибка поезда, вероятно, будет ошибка в реализации.Однако я не совсем уверен, куда я делаю ошибку, чтобы тренировать свои модели.Кроме того, какую выборку лучше использовать в случае такого сильно несбалансированного класса.Если я делаю недостаточную выборку, я беспокоюсь, если произойдет потеря информации.

Я надеялся, что кто-нибудь мог бы помочь мне с этой моделью и помочь мне развеять мои сомнения.

Заранее большое спасибо !!

1 Ответ

0 голосов
/ 22 ноября 2018

Ошибка тестирования ниже, чем Ошибка обучения, не обязательно означает ошибку в реализации.Вы можете увеличить итерацию для обучения модели, и в зависимости от вашего набора данных ошибка обучения может стать ниже, чем ошибка тестирования.Тем не менее, вы можете в конечном итоге переоснащение.Следовательно, цель также должна состоять в том, чтобы проверить другие показатели производительности тестового набора, такие как точность, точность, отзыв и т. Д.Если у вас много точек данных, то лучше отбирать пробы.В противном случае пойти на передискретизацию.SMOTE - это отличный метод для избыточной выборки путем создания точек синтетических данных вместо повторения одних и тех же точек данных несколько раз.

*https://imbalancedи посмотрите, останется ли ошибка обучения больше, чем ошибка тестирования.Я подозреваю, что разница в ваших данных высока.Читайте о компромиссе с отклонением.

Судя по результатам, похоже, вы создали довольно приличную модель.Попробуйте также использовать XGBoost и сравните результат со Random Forest.

...