Я пытаюсь реализовать простой пример того, как применить кросс-энтропию к тому, что должно быть результатом моей семантической сегментации CNN.
Используя формат pytorch, у меня было бы что-то вроде этого:
out = np.array([[
[
[1.,1, 1],
[0, 0, 0],
[0, 0, 0],
[0, 0, 0]
],
[
[0, 0, 0],
[1, 1, 1],
[0, 0.,0],
[0, 0, 0]
],
[
[0, 0, 0],
[0, 0, 0],
[1, 1, 1],
[0, 0, 0]
],
[
[0, 0, 0],
[0, 0, 0],
[0, 0, 0],
[1, 1, 1]
]
]])
out = torch.tensor(out)
Итак, мои выходные данные имеют измерения (1, 4, 4, 3), представляющие собой пакет из 1 элемента, 4 канала, представляющие 4 возможных класса, и данные 4 на 3 в каждом, сохраняющие вероятностьэта ячейка из своего класса.
Теперь моя цель выглядит следующим образом:
target=[
[0, 0, 0],
[1, 1, 1],
[2, 2, 2],
[3, 3, 3]
]
Обратите внимание, как в тензоре 'out' каждая строка имеет вероятность 1,0 из этого класса, в результатев идеальном соответствии с целью.
Например, третий канал (канал 2) имеет всю 3-ю строку (строку 2) с вероятностью 1,0 от этого канала и нулями в любом другом месте;поэтому он также соответствует 2 на цели в третьем ряду.
В этом примере я ожидаю минимального значения потерь между двумя тензорами.
Мой вопрос:
- Как лучше всего использовать метод кросс-энтропийной потери в PyTorch, чтобы отразить, что в этом случае нет разницы между целью и ее прогнозом?
- Какую величину потерь следует ожидать от этого?
Это то, что я получил до сих пор:
import torch
from torch.nn import CrossEntropyLoss
import numpy as np
out = torch.Tensor(np.array([[
[
[1.,1, 1],
[0, 0, 0],
[0, 0, 0],
[0, 0, 0]
],
[
[0, 0, 0],
[1, 1, 1],
[0, 0.,0],
[0, 0, 0]
],
[
[0, 0, 0],
[0, 0, 0],
[1, 1, 1],
[0, 0, 0]
],
[
[0, 0, 0],
[0, 0, 0],
[0, 0, 0],
[1, 1, 1]
]
]]))
target = torch.Tensor([[
[0, 0, 0],
[1, 1, 1],
[2, 2, 2],
[3, 3, 3]
]]).type('torch.LongTensor')
criterion = CrossEntropyLoss()
print(criterion(out, target))
И вывод: tensor(0.7437)
- Разве я не должен ожидать, что значение ближе к Cero??
Заранее спасибо