Как внутренняя функция Sklarn's MLPgnett_proba работает?

Question

Я пытаюсь понять, как классификатор MLP sklearn извлекает свои результаты для своей функции predict_proba.

Сайт просто перечисляет:

Оценки вероятности

В то время как многие другие, такие как logisti c регрессия , имеют более подробные ответы: оценки вероятности.

Возвращенные оценки для всех классы упорядочены по метке классов.

Для задачи multi_class, если для multi_class задано значение «multinomial», функция softmax используется для нахождения прогнозируемой вероятности каждого класса. В противном случае используйте подход «один против отдыха», то есть рассчитайте вероятность каждого класса, считая его положительным, используя функцию logisti c. и нормализуйте эти значения во всех классах.

Другие типы моделей также имеют больше деталей. Возьмем, к примеру, классификатор машин опорных векторов

И есть также этот очень хороший пост переполнения стека , который объясняет это в глубине.

Вычислите вероятности возможных результатов для выборок в X.

Модель должна иметь информацию о вероятности, рассчитанную во время обучения: соответствие с вероятностью атрибута установлено в True.

Другое Примеры

Случайный лес :

Предсказание вероятностей классов для X.

Рассчитаны предсказанные вероятности классов входной выборки в качестве среднего прогнозируемого класса вероятностей деревьев в лесу. Вероятность класса одного дерева - это доля выборок одного и того же класса в листе.

Гауссов Классификатор процесса:

Я хочу понять то же самое, что и вышеупомянутый пост, но для MLPClassifier. Как MLPClassifier работает внутри?

Answer 1

Глядя в исходный код , я нашел:

def _initialize(self, y, layer_units):

    # set all attributes, allocate weights etc for first call
    # Initialize parameters
    self.n_iter_ = 0
    self.t_ = 0
    self.n_outputs_ = y.shape[1]

    # Compute the number of layers
    self.n_layers_ = len(layer_units)

    # Output for regression
    if not is_classifier(self):
        self.out_activation_ = 'identity'
    # Output for multi class
    elif self._label_binarizer.y_type_ == 'multiclass':
        self.out_activation_ = 'softmax'
    # Output for binary class and multi-label
    else:
        self.out_activation_ = 'logistic'

Кажется, что MLP Classifier использует функцию logisti c для двоичной классификации и функцию softmax для мульти-меток классификация для построения выходного слоя. Это говорит о том, что результат net является вектором вероятности, на основе которого net выводит прогнозы.

Если я посмотрю на метод predict_proba:

def predict_proba(self, X):
    """Probability estimates.
    Parameters
    ----------
    X : {array-like, sparse matrix} of shape (n_samples, n_features)
        The input data.
    Returns
    -------
    y_prob : ndarray of shape (n_samples, n_classes)
        The predicted probability of the sample for each class in the
        model, where classes are ordered as they are in `self.classes_`.
    """
    check_is_fitted(self)
    y_pred = self._predict(X)

    if self.n_outputs_ == 1:
        y_pred = y_pred.ravel()

    if y_pred.ndim == 1:
        return np.vstack([1 - y_pred, y_pred]).T
    else:
        return y_pred

Это подтверждает действие softmax или logisti c в качестве функции активации для выходного слоя, чтобы иметь вектор вероятности.

Надеясь, что это может помочь вам.