Обратное распространение и пакетное обучение

Question

Backpropagation рассчитывает dW (весовая дельта) на вес для каждой модели, поэтому легко изменить вес при выполнении стохастической тренировки.Как я могу использовать его для пакетного обучения?Просто накопите dW по всему тренировочному набору, а затем примените модификацию, или есть что-то еще?

Answer 1

Вы можете многое сделать с разными градиентами из разных образцов. Это включает информацию более высокого порядка (приблизительная 2-я производная) или сопряженный градиент или естественный градиент или ...:)

Answer 2

Да, просто накапливайте dW по всему тренировочному набору. По крайней мере, так я закодировал это в аспирантуре ...