Переписывает ли подгонка модели к новому набору данных предыдущий прогресс обучения?

Question

Я бы хотел реализовать алгоритм активного обучения ( modAL ) с помощью Keras. Но я хотел бы знать, будет ли инициирование нескольких экземпляров обучения (например, запуск .fit () более одного раза) основано на предыдущем обучении, или веса будут сброшены. Другими словами, является ли обучение аддитивным или итеративным?

В случае, если обучение начинается с нуля каждый раз, есть ли способ построить модель на основе предыдущего обучения?

Answer 1

Для данной итерации входные данные передаются в сеть с установленным значением веса сети. Для каждого примененного ввода обратное распространение используется для расчета градиентов. Для размера пакета 100 применяются 100 входных данных, и результирующие 100 градиентов усредняются, чтобы определить новое значение для весов сети. Эти веса затем используются для обработки следующей партии из 100 входных данных. Так что процесс итеративный, а не аддитивный. Есть много возможных объяснений того, почему сеть, кажется, не учится.