Насколько я понимаю, сети ODE представляют собой смесь RNN (поскольку они имеют общие весовые параметры) и Resnets (поскольку они подают входные данные каждого слоя на входные данные следующего слоя). Чтобы быть более точным c, в Нейронных ODE мы добавляем параметр t к слою решателя ODE, чтобы имитировать роль глубины продолжения вместо предопределенного количества слоев в ANN. , Тем не менее, в архитектуре RNN скрытые состояния являются отдельными, но кажется, что в сетях ODE есть только одно скрытое состояние! Итак, как нам сохранить состояние каждого слоя во времени / глубине?
Другими словами, кажется, что мы разделяем и скрытые состояния, и веса / параметры слоя. Таким образом, в этой архитектуре невозможно ни обратное распространение через слои, ни обратное распространение через время. Пожалуйста, поправьте меня, если какое-либо из моих предположений неверно. Спасибо.