Откуда берется график функции потерь в машинном обучении?

Question

Откуда берется график функции потерь в машинном обучении? Я учусь о машинном обучении. Иногда я не понимаю модели, которые были оптимизированы с использованием терминов регуляризации. В объяснении регуляризации может появиться следующий рисунок. Вот пример члена регуляризации L1. Я предположил, что модель имеет два весовых параметра w1, w2. То есть уравнение модели y выражается следующим уравнением:

y = w1x1 + w2x2

Для простоты я проигнорировал термин смещения.

Красные квадраты представляют регуляризацию сроки. И синие эллипсы представляют функцию потерь без члена регуляризации. Член регуляризации задается как

| w1 | ^ q + | w2 | ^ q = r ^ q (r is const.)

Поэтому уравнение графика при w1> 0 и w2> 0 выражается следующим образом.

w2 = (r ^ q-| w1 | ^ q) ^ (1 / q)

Подставляя w1 для этого уравнения (q = 0 в Лассо), вы можете нарисовать график регуляризованного члена.

С другой стороны, я не смог нарисовать график потерь функция. Возможно, вам нужно больше, чем один кусок данных, чтобы нарисовать этот график. Для простоты я предположил, что у меня есть только две части данных. Я определяю их как (x11, x12, t1), (x21, x22, t2). Когда функцией потерь является MSE, она выражается следующим уравнением:

Ed = 1/2 * {(t1-w1x11-w2x12) + (t1-w1x21-w2x22)}

Если я упростил это, оно выражается как

Ed = a*w1^2 + b*w1 + c*w2^2 + d*w2 + e*w1*w2 + f

Здесь a, b, c, d, e и f - функции, представленные полностью или частично в x11, x12, x21 и x22. Найдя a, b, c, d, e и f, я подумал, что если мы подставим w1 для этого уравнения, мы сможем нарисовать график функции потерь. Однако я не умею хорошо рисовать. Является ли приведенное выше понимание правильным? Спасибо.

Answer 1

Чтобы визуализировать функцию потерь Ed, которая является функцией от w1 и w2, мы должны визуализировать ее как трехмерный график. Например, вы можете использовать Геогебра для визуализации трехмерного графика поверхности.

Вот пример, где a = 3, b = -1, c = 1, d = -1, e = 2.

2D-график, который вы видите, называется графиком счетчика. Эта ссылка позволяет вам нарисовать его онлайн.

Чтобы нарисовать контурный график вручную, вы фиксируете значение Ed, затем вы получили квадратичное c уравнение, после которого, когда вы меняете w1, вы можете решить для своего w2, для каждого w1 вы можете получить до 2 w2, поскольку оно квадратично c.

Замечание: Если вы ищете выражение закрытой формы в произвольном q, это может быть более сложным.