Пользовательская функция потерь PyTorch - PullRequest
Новая
       53

Пользовательская функция потерь PyTorch

0 голосов
/ 30 декабря 2018

Как должна быть реализована пользовательская функция потерь?Использование приведенного ниже кода вызывает ошибку: 

import torch
import torch.nn as nn
import torchvision
import torchvision.transforms as transforms
import numpy as np
import matplotlib.pyplot as plt
import torch.utils.data as data_utils
import torch.nn as nn
import torch.nn.functional as F

num_epochs = 20

x1 = np.array([0,0])
x2 = np.array([0,1])
x3 = np.array([1,0])
x4 = np.array([1,1])

num_epochs = 200

class cus2(torch.nn.Module):

    def __init__(self):
        super(cus2,self).__init__()

    def forward(self, outputs, labels):
        # reshape labels to give a flat vector of length batch_size*seq_len
        labels = labels.view(-1)  

        # mask out 'PAD' tokens
        mask = (labels >= 0).float()

        # the number of tokens is the sum of elements in mask
        num_tokens = int(torch.sum(mask).data[0])

        # pick the values corresponding to labels and multiply by mask
        outputs = outputs[range(outputs.shape[0]), labels]*mask

        # cross entropy loss for all non 'PAD' tokens
        return -torch.sum(outputs)/num_tokens


x = torch.tensor([x1,x2,x3,x4]).float()

y = torch.tensor([0,1,1,0]).long()

train = data_utils.TensorDataset(x,y)
train_loader = data_utils.DataLoader(train , batch_size=2 , shuffle=True)

device = 'cpu'

input_size = 2
hidden_size = 100 
num_classes = 2

learning_rate = .0001

class NeuralNet(nn.Module) : 
    def __init__(self, input_size, hidden_size, num_classes) : 
        super(NeuralNet, self).__init__()
        self.fc1 = nn.Linear(input_size , hidden_size)
        self.relu = nn.ReLU()
        self.fc2 = nn.Linear(hidden_size , num_classes)

    def forward(self, x) : 
        out = self.fc1(x)
        out = self.relu(out)
        out = self.fc2(out)
        return out

for i in range(0 , 1) :

        model = NeuralNet(input_size, hidden_size, num_classes).to(device)

        criterion = nn.CrossEntropyLoss()
#         criterion = Regress_Loss()
#         criterion = cus2()
        optimizer = torch.optim.Adam(model.parameters(), lr=learning_rate)

        total_step = len(train_loader)
        for epoch in range(num_epochs) : 
            for i,(images , labels) in enumerate(train_loader) : 
                images = images.reshape(-1 , 2).to(device)
                labels = labels.to(device)

                outputs = model(images)
                loss = criterion(outputs , labels)

                optimizer.zero_grad()
                loss.backward()
                optimizer.step()
#                 print(loss)

        outputs = model(x)

        print(outputs.data.max(1)[1])

делает точные прогнозы на тренировочных данных: 

tensor([0, 1, 1, 0])

Использование пользовательской функции потерь из https://cs230 -stanford.github.io/pytorch-nlp.html#writing-a-custom-loss-function:

enter image description here

реализован в приведенном выше коде как cus2

Код без комментариев # criterion = cus2() для использования этой функции потерь возвращает: 

tensor([0, 0, 0, 0])

Также возвращается предупреждение:

UserWarning: недопустимый индекс0-тусклый тензор.Это будет ошибка в PyTorch 0.5.Используйте tennors.item () для преобразования 0-dim-тензора в число Python

Я не правильно реализовал пользовательскую функцию потерь?

1 Ответ

0 голосов
/ 30 декабря 2018

Ваша функция потерь корректна программно, за исключением следующих случаев: 

    # the number of tokens is the sum of elements in mask
    num_tokens = int(torch.sum(mask).data[0])

Когда вы делаете torch.sum, она возвращает 0-мерный тензор и, следовательно, предупреждение о том, что она не может быть проиндексирована.Чтобы исправить это, сделайте int(torch.sum(mask).item()), как предложено, или int(torch.sum(mask)) тоже будет работать.

Теперь, вы пытаетесь эмулировать потерю CE с помощью пользовательской потери?Если да, то вам не хватает log_softmax

. Чтобы исправить это, добавьте outputs = torch.nn.functional.log_softmax(outputs, dim=1) перед утверждением 4. Обратите внимание, что в случае с приложенным руководством, log_softmax уже выполнено в прямом вызове.Вы тоже можете это сделать.

Кроме того, я заметил, что скорость обучения низкая, и даже при потере CE результаты не соответствуют друг другу.Повышение скорости обучения до 1e-3 хорошо работает для меня, как при обычном, так и при потере CE.

...