Размеры входных данных поперечной энтропии Pytorch - PullRequest
Новая
       96

Размеры входных данных поперечной энтропии Pytorch

0 голосов
/ 03 апреля 2020

Я пытаюсь разработать двоичный классификатор с BertModel и Pytorch от Huggingface. Модуль классификатора выглядит примерно так: 

class SSTClassifierModel(nn.Module):

  def __init__(self, num_classes = 2, hidden_size = 768):
    super(SSTClassifierModel, self).__init__()
    self.number_of_classes = num_classes
    self.dropout = nn.Dropout(0.01)
    self.hidden_size = hidden_size
    self.bert = BertModel.from_pretrained('bert-base-uncased')
    self.classifier = nn.Linear(hidden_size, num_classes)

  def forward(self, input_ids, att_masks,token_type_ids,  labels):
    _, embedding = self.bert(input_ids, token_type_ids, att_masks)
    output = self.classifier(self.dropout(embedding))
    return output

То, как я тренирую модель, выглядит следующим образом: 

loss_function = BCELoss()
model.train()
for epoch in range(NO_OF_EPOCHS):
  for step, batch in enumerate(train_dataloader):
        input_ids = batch[0].to(device)
        input_mask = batch[1].to(device)
        token_type_ids = batch[2].to(device)
        labels = batch[3].to(device)
        # assuming batch size = 3, labels is something like:
        # tensor([[0],[1],[1]])
        model.zero_grad()        
        model_output = model(input_ids,  
                             input_mask, 
                             token_type_ids,
                             labels)
        # model output is something like: (with batch size = 3) 
        # tensor([[ 0.3566, -0.0333],
                 #[ 0.1154,  0.2842],
                 #[-0.0016,  0.3767]], grad_fn=<AddmmBackward>)

        loss = loss_function(model_output.view(-1,2) , labels.view(-1))

Я делаю .view() s из-за источника Huggingface код для BertForSequenceClassification здесь , который использует точно такой же способ для расчета потерь. Но я получаю эту ошибку: 

/usr/local/lib/python3.6/dist-packages/torch/nn/functional.py in binary_cross_entropy(input, target, weight, size_average, reduce, reduction)
   2068     if input.numel() != target.numel():
   2069         raise ValueError("Target and input must have the same number of elements. target nelement ({}) "
-> 2070                          "!= input nelement ({})".format(target.numel(), input.numel()))
   2071 
   2072     if weight is not None:

ValueError: Target and input must have the same number of elements. target nelement (3) != input nelement (6)

Что-то не так с моими ярлыками? или вывод моей модели? Я действительно застрял здесь. Документация для BCELoss Pytorch гласит:

Ввод: (N, ∗), где ∗ означает, любое количество дополнительных измерений
Цель: (N, ∗), такая же форма, как у входа

Как сделать так, чтобы мои метки имели ту же форму, что и выходные данные модели? Я чувствую, что что-то огромное пропускаю, но не могу найти это.

1 Ответ

1 голос
/ 03 апреля 2020

Несколько наблюдений:

  • Код, на который вы ссылаетесь, использует CrossEntropyLoss, но вы используете BCELoss.
  • CrossEntropyLoss принимает логиты прогноза (размер: (N, D)) и метки назначения (размер: (N,)), тогда как BCELoss принимает p (y = 1 | x) (размер: (N ,)) и метки назначения (размер: (N,)) как p (y = 0 | x) могут быть вычислены из p (y = 1 | x)
  • CrossEntropyLoss ожидает logits, то есть тогда как BCELoss ожидает значение вероятности

Решение:

Поскольку вы передаете (N, 2) тензор, выдается ошибка. Вам нужно только передать p (y = 1 | x), поэтому вы можете сделать

loss = loss_function(model_output.view(-1,2)[:,1] , labels.view(-1))

выше. Я предположил, что вторым значением является p (y = 1 | x).

Более понятный способ - сделать так, чтобы модель выводила только одно значение, т.е. p (y = 1 | x), и передавала его функции потерь. Из кода видно, что вы передаете lo git значения, а не значения вероятности, поэтому вам также может потребоваться вычислить sigmoid (model_output), если вы хотите использовать BCELoss или, альтернативно, вы можете использовать BCEWithLogitsLoss.

Другая альтернатива - изменить потерю на CrossEntropyLoss, которая также должна работать, поскольку она может работать и для двоичных меток.

...