оценить вывод результатов autoML

Question

Как мне интерпретировать следующие результаты? Каков наилучший из возможных алгоритмов для обучения на основе сводки по автоглюонам?

*** Summary of fit() ***
Estimated performance of each model:
                                    model  score_val     fit_time  pred_time_val  stack_level
19                weighted_ensemble_k0_l2  -0.035874     1.848907       0.002517            2
18                weighted_ensemble_k0_l1  -0.040987     1.837416       0.002259            1
16          CatboostClassifier_STACKER_l1  -0.042901  1559.653612       0.083949            1
11    ExtraTreesClassifierGini_STACKER_l1  -0.047882     7.307266       1.057873            1
...
...
0   RandomForestClassifierGini_STACKER_l0  -0.291987     9.871649       1.054538            0

Код для получения результатов, приведенных выше:

import pandas as pd
from autogluon import TabularPrediction as task
from sklearn.datasets import load_digits

digits = load_digits()
savedir = "otto_models/"  # where to save trained models

train_data = pd.DataFrame(digits.data)
train_target = pd.DataFrame(digits.target)
train_data = pd.merge(train_data, train_target, left_index=True, right_index=True)
label_column = "0_y"

predictor = task.fit(
    train_data=train_data,
    label=label_column,
    output_directory=savedir,
    eval_metric="log_loss",
    auto_stack=True,
    verbosity=2,
    visualizer="tensorboard",
)

results = predictor.fit_summary()  # display detailed summary of fit() process

Какой алгоритм работает в этом случае?

Answer 1

weighted_ensemble_k0_l2 - лучший результат с точки зрения оценки валидации (score_val), поскольку он имеет наибольшее значение. Вы можете sh сделать predictor.leaderboard(test_data), чтобы получить результаты тестов для каждой из моделей.

Обратите внимание, что результат показывает отрицательный результат, потому что AutoGluon всегда считает, что выше лучше. Если конкретный показатель c, например, logloss, предпочитает более низкие значения, чтобы быть лучше, AutoGluon отображает знак показателя c. Я бы предположил, что val_score 0 будет идеальным показателем в вашем случае.