при изучении Python и нейронных сетей
У меня была модель нейронной сети, которая была явно переоснащена.
Поэтому я решил разделить данные поезда в наборе тестов и валидации.
Таким образом поезд и результаты y стали: traintest и ytest , trainval и yval
Andсоздал тестовую функцию для опробования различных настроек модели:
learning_rates = [0.005, 0.001]
estimaters =[50,300,800]
criterion =['friedman_mse','mse','mae']
from sklearn.model_selection import train_test_split
traintest, trainval, ytest, yval = train_test_split(train, y,random_state=4,test_size =0.35 )
for crit in criterion :
for learning_rate in learning_rates:
for est in estimaters:
gb = GradientBoostingClassifier(criterion= crit, n_estimators=est, learning_rate = learning_rate, min_samples_leaf=2,min_samples_split=20, max_features=3, max_depth = 2, random_state = 0)
gb.fit(traintest, ytest)
s = gb.score(traintest, ytest)
if (s>0.7)&(s<1.0): # <1 as I dont want overfitted results.
# neither do i want to show poor results
s2 = gb.score(trainval, yval) # only calc if s was good enough
print("Learn rate: {0:.3f} Est: {1:.0f} S: {2:.16f} s2: {2:.16f} ".format(learning_rate,est,s,s2)+crit)
По сути, из приведенного выше кода я получил s и s2 и настройки теста печати
Мои оценки в с для данных поезда, а s2 для данных проверки
Тогда я думаю, что наличие разных наборов данных в приведенном выше коде приведет к различным результатамдля s и s2 к моему удивлению, хотя их то же самое, как это может быть?
Вывод о коде:
LearnRate: 0.005 Est: 300 S: 0.97063903 s2: 0.97063903 friedman_mse
LearnRate: 0.001 Est: 800 S: 0.94300518 s2: 0.94300518 friedman_mse
LearnRate: 0.005 Est: 300 S: 0.97063903 s2: 0.97063903 mse
LearnRate: 0.001 Est: 800 S: 0.94300518 s2: 0.94300518 mse
LearnRate: 0.005 Est: 300 S: 0.96718480 s2: 0.96718480 mae
Эторезультат ошибки в том, как я закодировал это в Python или что-то еще происходит с GradientBoostingClassifier ??