Почему среднее используется вместо суммы в функциях потерь?

Question

Почему среднее используется вместо суммы в функциях потерь?

т.е. есть ли причина, почему это предпочтительнее

def mae_loss(y_true, y_pred):
    loss = tf.reduce_mean(tf.abs(y_true-y_pred))
    return loss

этому

def mae_loss(y_true, y_pred):
    loss = tf.reduce_sum(tf.abs(y_true-y_pred))
    return loss

В Керасетакже используется вариант исходного кода:

https://github.com/keras-team/keras/blob/5a7a789ee9766b6a594bd4be8b9edb34e71d6500/keras/losses.py#L17

Answer 1

Обычно мы рассчитываем потери, чтобы сравнивать их с другими или уменьшать как можно больше.Если вы просто получите сумму вместо среднего, результат будет варьироваться в зависимости от количества данных, тогда будет сложно определить, большой он или нет инстинктивно.Вот почему мы обычно используем «среднеквадратическую ошибку» или «среднюю абсолютную ошибку» вместо их суммы.