Можно ли оценить время, необходимое для обучения модели машинного обучения, с учетом объема данных и спецификации оборудования?

Question

Я планирую сделать небольшой проект по классификации изображений Tensor Flow, который, как ожидается, будет работать на машинах с низкой вычислительной мощностью, и одной из проблем, о которых меня спрашивали, было время, необходимое для обучения модели.

Проект все еще находится в стадии разработки, и четких границ не установлено.Но если предположить, что мы будем использовать поток Tensor для Python с простой нейронной сетью для, скажем, набора данных n изображений, есть ли способ оценить или предсказать время, необходимое для обучения модели перед выполнением обучения с учетом используемого оборудования?

Я спросил одного из моих коллег, который работает в NN, и он сказал, что, возможно, мы могли бы рассчитать необходимое время, измерив время для первой эпохи и сделав оценку, сколько эпох понадобилось впоследствии.Это правильный путь?Если да, то возможно ли даже оценить необходимое количество эпох?И в каких случаях есть способ рассчитать его перед выполнением какого-либо обучения?

Answer 1

Не существует определенного способа определения количества эпох, к которым сходится модель.Это один из гиперпараметров.

Помимо типа обучаемой модели, конвергенция также зависит от распределения данных и используемого оптимизатора.Приблизительная оценка, которую вы можете сделать, взглянув на количество параметров, имеющихся в вашей модели, проверив время для одной эпохи, и получите приблизительное представление о «опыте» по количеству эпох.НО вы всегда должны смотреть на кривые потерь при обучении и проверке, чтобы проверить сходимость.