Есть ли разница между многократным обучением маленьких данных и однократным обучением при обучении модели?

Question

У меня уже есть модель, которая подготовила 130 000 предложений.

Я хочу классифицировать предложения с помощью двунаправленного lstm.Мы планируем использовать этот сервис.Тем не менее, модель должна продолжать обучаться на протяжении всего обслуживания.

, поэтому я думаю, пока точность модели не увеличится, я буду смотреть на предложения, которые классифицировала модель, и отвечу на них сам.

Я подготовлю предложение к ответу.

Есть ли разница между обучением предложений одно за другим и их обучением путем объединения их в один файл?

Каждый раз, когда я даю предложение Одинодним тренингом Это имеет значение?

Answer 1

Да, есть разница. Предположим, у вас есть набор данных из 10 000 предложений.

• Если вы тренируете одно предложение в каждый момент времени, то оптимизация будет выполняться в каждом предложении (обратное распространение). Это требует больше времени и памяти и не является хорошим выбором. Это невозможно, если у вас большой набор данных. Вычислительный градиент на каждом экземпляре шумит, а скорость сходимости меньше.
• Если вы тренируетесь партиями, предположим, что размер партии равен 1000, тогда у вас есть 10 партий. Эти партии вместе отправляются в сеть, и, таким образом, градиенты вычисляются по этим партиям. Следовательно, градиенты получают достаточно шума, чтобы сходиться на глобальных минимумах, а не на локальных минимумах. Кроме того, он эффективно использует память и быстрее сходится.

Вы можете проверить ответы от здесь , здесь и здесь .