Если вы можете обучить две сети с одинаковой точностью, но одной из них нужно обработать только половину данных, тогда да, это хорошо.
Полученная сеть не будет быстрее выполнять во время вывода, но есть еще несколько важных преимуществ в процессе обучения.
- Обучение займет вдвое меньше времени. Это ценно само по себе. Это особенно ценно, если учесть, что теперь вы можете попробовать вдвое больше идей за одно и то же время. Это улучшит качество результатов для всего процесса.
- Более быстрая сходимость может уменьшить ошибки обобщения и переобучения. Оптимизация не имеет так много возможностей для «ерзания» и поиска возможностей для наложения.
- Чрезвычайно быстрая конвергенция, называемая супер-конвергенция , может улучшить итоговую тренировку ошибка при сохранении низкого уровня ошибки обобщения, что также приводит к лучшему баллу валидации.
Говоря в более общем плане, в топи c много говорится о том, как сделать так, чтобы сети обучались как быстро и дешево, насколько это возможно. Одним из таких эталонных тестов является DAWNBench , который устанавливает целевую точность для достижения, а затем ранжирует подходы на основе того, как быстро они достигают этой цели, и сколько стоят для этого графические процессоры или другая инфраструктура.
Эта общая идея «снижения затрат» также является одной из движущих сил общей идеи Transfer Learning .