Разница между logloss в sklearn и BCEloss в Pytorch? - PullRequest
Новая
       109

Разница между logloss в sklearn и BCEloss в Pytorch?

0 голосов
/ 01 мая 2019

Глядя на документацию для logloss в Sklearn и BCEloss в Pytorch, они должны быть одинаковыми, то есть только обычные потери в логе с примененными весами.Однако они ведут себя по-разному - как с применением веса, так и без него.Кто-нибудь может мне это объяснить?Я не смог найти исходный код для BCEloss (который внутренне ссылается на binary_cross_entropy). 

input = torch.randn((3, 1), requires_grad=True)
target = torch.ones((3, 1), requires_grad=False)
w = torch.randn((3, 1), requires_grad=False)

# ----- With weights
w = F.sigmoid(w)
criterion_test = nn.BCELoss(weight=w)
print(criterion_test(input=F.sigmoid(input), target=F.sigmoid(target)))
print(log_loss(y_true=target.detach().numpy(), 
               y_pred=F.sigmoid(input).detach().numpy(), sample_weight=w.detach().numpy().reshape(-1), labels=np.array([0.,1.])))
print("")
print("")
# ----- Without weights
criterion_test = nn.BCELoss()
print(criterion_test(input=F.sigmoid(input),target=F.sigmoid(target)))
print(log_loss(y_true=target.detach().numpy(), 
               y_pred=F.sigmoid(input).detach().numpy(), labels=np.array([0.,1.])))

Ответы [ 2 ]

0 голосов
/ 01 мая 2019

Относительно вычисления без весов, используя BCEWithLogitsLoss, вы получите тот же результат, что и для sklearn.metrics.log_loss: 

import torch
import torch.nn as nn
from sklearn.metrics import log_loss
import numpy as np

input = torch.randn((3, 1), requires_grad=True)
target = torch.ones((3, 1), requires_grad=False)

# ----- Without weights
criterion = torch.nn.BCEWithLogitsLoss()
criterion(input, target)
print('{:.6f}'.format(criterion(input, target)))
print('{:.6f}'.format((log_loss(y_true=target.detach().numpy(),
                                y_pred=torch.sigmoid(input).detach().numpy(),
                                labels=np.array([0.,1.])))))

Обратите внимание:

Эта потеря объединяет сигмовидный слой и BCELoss в одном классе.Эта версия более стабильна в численном отношении, чем использование простого сигмоида, за которым следует BCELoss, поскольку, объединяя операции в один слой, мы используем трюк log-sum-exp для численной стабильности.

0 голосов
/ 01 мая 2019

На самом деле, я узнал. Оказывается, что BCELoss и log_loss ведут себя по-разному , когда весовые коэффициенты в сумме превышают размерность входного массива . Интересно.

...