Я выполняю задачу регрессии на разреженных изображениях. Изображения являются результатом физического процесса со значимыми параметрами (на самом деле они представляют собой суперпозицию конусообразных форм), и я пытаюсь настроить регрессор для этих параметров.
Я построил нейронную сеть с кодер, отображающий изображение на выход, для которого я выбрал активацию и форму, чтобы он соответствовал этим значимым параметрам.
Затем я использую пользовательские слои для построения изображения из этих параметров способом, который близко соответствует физический процесс и обучить сеть, используя расстояние L2 между входным изображением и выходным изображением.
Однако для большого набора параметров выходное изображение будет равно нулю, так как это разреженные изображения , Это в общем случае для исходной сети.
Возможно ли, что благодаря обучению нейронная сеть выучит свой выход из этой параметризации "все ноль"?
Моя интуиция заключается в том, что в начале потери будут равны норме L2 входного изображения, а градиент будет равномерно равен нулю, следовательно, обучение не будет.
Кто-нибудь может подтвердить?