В настоящее время я создаю нейронную сеть для побочного проекта, над которым я работаю.У меня нет готового кода, однако для моей базовой структуры мне было интересно, возможно ли / допустимо ли следующее с нейронными сетями, использующими Tensorflow.
Мой входной слой не является самым нижним уровнем моей нейронной сети, иМне интересно, позволит ли это по-прежнему нормально работать в сети с использованием обратного распространения.По сути, я хотел бы, чтобы мой входной слой контролировал, сколько определенного слоя следует прокрутить, используя tf.roll, а мой входной слой контролирует величину смещения.Кроме того, перед вводом будет слой-заполнитель, который будет использоваться в качестве маски на нашем свернутом слое.
По сути, моя нейронная сеть будет выглядеть следующим образом:
Скрытый слой-> Скрытый слой -> Скрытый слой / «Выходной слой» -> Входной слой, который катит предыдущий слой -> Входной слой, который маскирует часть предыдущего слоя -> Преобразование -> Ошибка
Как вы можете видеть,все мои веса "ниже" входного слоя, и из-за этого я не уверен, будет ли работать градиентный спуск должным образом.Причина, по которой он разработан таким образом, заключается в том, что мой «Выходной слой» представляет собой преобразование Фурье, а мой входной слой обеспечивает сдвиг в пространстве Фурье, а затем позднее преобразуется в аудиосигнал.Затем я использую спектрограмму для вычисления ошибки в моем выводе.
Смогу ли я по-прежнему использовать обратное распространение в таком дизайне?По сути, все «над» входным слоем являются постоянными преобразованиями, и из-за этого, в дополнение к tf.roll, будет ли работать backprop?Большое вам спасибо!