Различия между F.relu (X) и torch.max (X, 0)

Question

Я пытаюсь реализовать следующую функцию потери

Для меня самая прямолинейная реализация будет использовать torch.max

losses = torch.max(ap_distances - an_distances + margin, torch.Tensor([0]))

Однако я видел другие реализации на github с использованием F.relu

losses = F.relu(ap_distances - an_distances + margin)

Они дают одинаковый вывод, но мне интересно, есть ли принципиальная разница между этими двумя методами.

Answer 1

torch.max не дифференцируется в соответствии с этим обсуждением .Функция потерь должна быть непрерывной и дифференцируемой для выполнения backprop.relu дифференцируемо, так как его можно аппроксимировать и, следовательно, использовать его в функции потерь.