Контурная диаграмма алгоритма градиентного спуска в Python - PullRequest
Новая
       66

Контурная диаграмма алгоритма градиентного спуска в Python

0 голосов
/ 22 марта 2020

Я пытаюсь применить градиентный спуск к простой модели линейной регрессии, при построении 2D-графика я получаю ожидаемый результат, но когда я переключаюсь на контурный график, а не на предполагаемый график, я хотел бы знать, где моя ошибка.

Вот код: 

def J(b_0, b_1, x, y):
  return (1/len(y))*(y - b_0 - b_1*x)**2

def dJ_1(b_0, b_1, x, y):
  return (2/len(y))*np.sum(x*(b_1*x + b_0 - y))

def dJ_0(b_0, b_1, x, y):
  return (2/100)*np.sum((b_1*x + b_0 - y))

x = np.linspace(-1, 1, 100)
y = np.linspace(-2, 2, 100)

b_0 = 5
b_1 = 5
parameters_0 = [b_0]
parameters_1 = [b_1]
for i in range(99):
  b_1 -= 0.1*dJ_1(b_0, b_1, x, y)
  b_0 -= 0.1*dJ_0(b_0, b_1, x, y)
  parameters_0.append(b_0)
  parameters_1.append(b_1)

plt.figure(figsize=(4, 8))
plt.plot(np.linspace(-2, 7, 100), J(np.linspace(-2, 7, 100), parameters_1[-1], -1, -2))
plt.plot(np.array(parameters_0), J(np.array(parameters_0), parameters_1[-1], -1, -2), color="C1")
plt.plot(np.array(parameters_0), J(np.array(parameters_0), parameters_1[-1], -1, -2), '-o', color="C1")
plt.xlabel(r"$\beta_0$")
plt.ylabel(r"$J(\beta_0)$")
plt.show()

Первый сюжет:

enter image description here

plt.figure(figsize=(4, 8))
plt.plot(np.linspace(-4, 7, 100), J(parameters_0[-1], np.linspace(-4, 7, 100), -1, -2))
plt.plot(np.array(parameters_1), J(parameters_0[-1], np.array(parameters_1), -1, -2), color="C1")
plt.plot(np.array(parameters_1), J(parameters_0[-1], np.array(parameters_1), -1, -2), '-o', color="C1")
plt.xlabel(r"$\beta_1$")
plt.ylabel(r"$J(\beta_1)$")
plt.show()

Второй участок:

enter image description here

b_0 = np.linspace(-10, 10, 100)
b_1 = np.linspace(-10, 10, 100)
X, Y = np.meshgrid(b_0, b_1)
Z = J(X, Y, x=-1, y=-2)
fig,ax=plt.subplots(1,1)
cp = ax.contourf(X, Y, Z)
fig.colorbar(cp) 
ax.set_xlabel(r"$\beta_0$")
ax.set_ylabel(r"$\beta_1$")
plt.show()

Контурный участок:

enter image description here

Почему я получаю вышеприведенный график, а не график, аналогичный приведенному ниже, например, когда глобальные минимумы функции стоимости равны (0, 2)? Заранее спасибо.

enter image description here

1 Ответ

1 голос
/ 22 марта 2020

Ну, я думаю, что в этом нет никакой ошибки, вы можете видеть из 2-го графика, что ваш график градиентного спуска является квадратичной c функцией, таким образом, способ, которым вы видите его из контура, выглядит так, как будто вы видите его с неба на Долина. Что касается того, почему это не выглядит как круг, то это потому, что это просто функция 3d quadrati c. Я тоже однажды сделал что-то похожее, и график градиентного спуска такой же, как и у вас. Проверьте это здесь в конце страницы

...