python градиентный спуск не сходится - PullRequest
Новая
       92

python градиентный спуск не сходится

0 голосов
/ 10 января 2020

Я увеличил и уменьшил скорость обучения и, похоже, не сходится и не берет навсегда. если я устанавливаю скорость обучения равную 0,0004, она медленно пытается сходиться, но требует столько итераций, что мне пришлось установить более 1 мил + итерацию, и мне удалось только go с 93 ошибки в квадрате до 58

Я следую Andrews NG forumla

Изображение графика с градиентной линией:

image of the graph with the gradient line

мой код: 

import numpy as np
import pandas as pd
from matplotlib import pyplot as plt
import matplotlib.patches as mpatches
import time


data = pd.read_csv('weight-height.csv')
x = np.array(data['Height'])
y = np.array(data['Weight'])


plt.scatter(x, y, c='blue')
plt.suptitle('Male')
plt.xlabel('Height')
plt.ylabel('Weight')
total = mpatches.Patch(color='blue', label='Total amount of data {}'.format(len(x)))
plt.legend(handles=[total])

theta0 = 0
theta1 = 0
learning_rate = 0.0004
epochs = 10000


# gradient = theta0 + theta1*X


def hypothesis(x):
    return theta0 + theta1 * x


def cost_function(x):
    return 1 / (2 * len(x)) * sum((hypothesis(x) - y) ** 2)

start = time.time()

for i in range(epochs):
    print(f'{i}/ {epochs}')
    theta0 = theta0 - learning_rate * 1/len(x) * sum (hypothesis(x) - y)
    theta1 = theta1 - learning_rate * 1/len(x) * sum((hypothesis(x) - y) * x)
    print('\ncost: {}\ntheta0: {},\ntheta1: {}'.format(cost_function(x), theta0, theta1))

end = time.time()

plt.plot(x, hypothesis(x), c= 'red')


print('\ncost: {}\ntheta0: {},\ntheta1: {}'.format(cost_function(x), theta0, theta1))

print('time finished at {} seconds'.format(end - start))

plt.show()

Ответы [ 2 ]

0 голосов
/ 11 января 2020

вернулся, чтобы сказать, что мне удалось это исправить, используя масштабирование и среднюю нормализацию, чтобы он быстро сходился, в отличие от использования истинного значения.

graph

0 голосов
/ 10 января 2020

Ваша проблема может заключаться в том, что вы обновляете theta0 и theta1 по одному: 

theta0 = theta0 - learning_rate * 1/len(x) * sum (hypothesis(x) - y)
# the update to theta1 is now using the updated version of theta0
theta1 = theta1 - learning_rate * 1/len(x) * sum((hypothesis(x) - y) * x)

было бы лучше переписать так, чтобы функция «гипотезы» вызывалась один раз и явно передайте ему значения theta0 и theta1 для использования, а не глобальные значения. 

# modify to explicitly pass theta0/1
def hypothesis(x, theta0, theta1):
    return theta0 + theta1 * x

# explicitly pass y
def cost_function(x, y, theta0, theta1):
    return 1 / (2 * len(x)) * sum((hypothesis(x, theta0, theta1) - y) ** 2)

for i in range(epochs):
    print(f'{i}/ {epochs}')
    # calculate hypothesis once
    delta = hypothesis(x, theta0, theta1)
    theta0 = theta0 - learning_rate * 1/len(x) * sum (delta - y)
    theta1 = theta1 - learning_rate * 1/len(x) * sum((delta - y) * x)
    print('\ncost: {}\ntheta0: {},\ntheta1: {}'.format(cost_function(x, y, theta0, theta1))
...