Я пытался реализовать простой стек с python для соревнований по kaggle
Here My Code,
import pandas as pd
import numpy as np
from sklearn.neighbors import KNeighborsClassifier
from sklearn.ensemble import RandomForestClassifier
from xgboost import XGBClassifier
from vecstack import stacking
После этапа предварительной обработки данных,
models = [
KNeighborsClassifier(n_neighbors=5),
RandomForestClassifier(random_state=0,n_estimators=60, max_depth=3),
XGBClassifier(random_state=0,learning_rate=0.1,n_estimators=60, max_depth=3),
]
S_train, S_test = stacking( models,
X_train, Y_train, X_test,
regression=False,
mode='oof_pred_bag',
needs_proba=False,
save_dir=None,
metric=accuracy_score,
n_folds=10,
stratified=True,
shuffle=True,
random_state=0,
verbose=2)
После того, как для прогнозирования окончательного прогноза я снова использовал XGBClassifier,
model = XGBClassifier(random_state=0, n_jobs=-1, learning_rate=0.1,
n_estimators=60, max_depth=5)
model = model.fit(S_train, Y_train)
Y_pred = model.predict(S_test)
Всякий раз, когда я отправлял свой файл submission.csv, чтобы вычислить его, он получал 0,90162 Точность категоризации без использования GridSearch для настройки параметров.
, но проблема в том, что другие участники набрали больше, чем этот балл, например
0,91533,0,92270,0,93135,0,99405
Существует ли какая-либо мощная классификационная модель для оценки, подобная этой, или я долженпараметры мелодии ??