Если входные данные имеют значения дальнего диапазона, например 0 ~ 999999 (нормированный: 0,0 ~ 1,0), может ли CNN хорошо учиться?
По моему опыту, значения, близкие к 0, будут равны 0 в значении дальнего диапазона. Считается, что функция активации, такая как Relu, работает и придерживается ниже (0 или около 0).
Я чувствую, что чем выше значение, тем выше потери, поэтому модель имеет тенденцию оптимизироваться для более высокого значения .
Чтобы вывести большое значение, требуется сумма по нескольким персептронам. По этой причине, чем больше значение, тем больше перцептронов можно использовать. Следовательно, чем больше значение, тем больше выразительность.
Некоторый персептрон должен соответствовать как малым, так и большим значениям. Выясняется, что малые значения являются отрицательными, а большие значения могут быть оптимизированы / установлены в модели Это можно считать отрицательным эффектом Relu.
Это не относится к глобальным решениям. Однако многие случаи попадают в локальные решения.
Является ли эта идея правильной?