Настройка гиперпараметра с использованием оптуна - PullRequest
Новая
       78

Настройка гиперпараметра с использованием оптуна

0 голосов
/ 21 октября 2019

Я рассмотрел уравнение и пытаюсь оценить его минимумы.

Условие - получить эти минимумы в 80 из 100 испытаний.

ИЯ получаю эти минимумы только в 13-м испытании, а не в дальнейших. Я пытался настроить гиперпараметры, но мне не повезло. 

x = trial.suggest_uniform('x', 10000, 50000)

optimizer = trial.suggest_categorical('optimizer', ['MomentumSGD', 'Adam'])

num_layers = trial.suggest_int('num_layers', 1, 3)
learning_rate = trial.suggest_loguniform('learning_rate', 1e-10, 1e-1)
classifier_name = trial.suggest_categorical('classifier', ['SVC', 'RandomForest'])
if classifier_name == 'SVC':
    svc_c = trial.suggest_loguniform('svc_c', 1e-10, 1e+10)
    classifier_obj = sklearn.svm.SVC(C=svc_c)
else:
    rf_max_depth = int(trial.suggest_loguniform('rf_max_depth', 2, 32))
    classifier_obj = sklearn.ensemble.RandomForestClassifier(max_depth=rf_max_depth)
return 50*np.sin(x/50)*np.sin(x/50/(10*np.exp(1)))/x

Ожидается получение best_value в 80 из 100 испытаний в исследовании.

...