Как работает обратное распространение?

Question

Я создал свою первую простую Нейронную Сеть на бумаге. Имеет 5 входов (данные - число с плавающей точкой от 0,0 до 10,0) и один выход. Без скрытых слоев. Например, в начале мои веса = [0,2, 0,2, 0,15, 0,15, 0,3]. Результат должен быть в диапазоне, как входные данные (0,0 - 10,0). Например, сеть вернула 8, когда право равно 8,5. Как backprop изменит вес? Я знаю, как работает grad.descent, но не могу понять, как выбрать параметры частной производной. Помогите, пожалуйста. Я могу разработать что-нибудь, если вам нужно. Если вы посоветуете какую-нибудь литературу (если возможно, то на простом английском).

Answer 1

Если вы сначала начнете с 1, затем перейдите к 2 и 3 соответственно. Я верю, что вы сможете достаточно хорошо понять, как работают нейронные сети.

1. видео Эндрю Нг на Coursera, особенно Лекция 9.1 , Лекция 9.2 , Лекция 9.4 и другие.
2. Книга Тома Мичелла по машинному обучению 4-я глава
3. Рауль Рохас Нейронные сети, систематическое введение , главы 4, 6 и 7. Это долго, хотя очень легко понять и понять. Также это очень хорошая и полная книга (также бесплатно доступна на сайте автора).

Важно начать с понимания того, как изучен один единственный персептрон (что вы и сделали). Как только это будет сделано, остальные не станут слишком сложными.