Почему время за шагом непрерывно уменьшается с увеличением количества эпох?

Question

При обучении модели глубокого обучения, с каждым увеличением количества эпох, время, необходимое для выполнения одного шага, постоянно уменьшается. Что привело к такому увеличению эффективности, поскольку данные одинаковы?

И почему в первые эпохи оно было очень большим по сравнению с другими эпохами? Любой ответ или ссылка на то же самое будет заметно.

Вот мой скриншот модели тренировки:

Время видно/ шаг уменьшается как 3 с / шаг, 810 мс / шаг, 722 мс / шаг и т. д.

Answer 1

Это зависит от конкретного случая и не может быть обобщено. Требуемое время является переменным компонентом и зависит от различных внешних факторов, а также от наличия памяти в ходе работы, размеров ввода и т. Д.

Answer 2

Частичный ответ:

Первая эпоха медленнее из-за различных издержек инициализации: вся ваша модель инициализируется выбранными значениями или распределениями, создаются экземпляры слоев модели и т. Д.

Более поздние эпохи могут ускоряться по любой из множества причин. Наиболее распространенным в моей работе является то, что различные алгоритмические анализаторы изучают управление данными + потоком вашей модели и корректируют поток для повышения производительности.

Это может включать в себя прием данных (кэширование),короткое замыкание операции, переключение на вычисления с разреженной матрицей, когда веса ядра "встряхиваются", чтобы получить большинство из 0,0 элементов и т. д.

Однако без надлежащего примера для точного воспроизведения эффекта и без попытокВ профиле исполнения эти идеи являются лишь догадками.