Может ли Theano / Pytorch / Tensorflow автоматически вычислить следующий градиент?

Question

Я пытаюсь запустить рекуррентную нейронную сеть, где функция обновления состояния для каждого нейрона имеет следующий вид:

z = g*y

, учитывая, что

g = (x<x_max & x>x_max-e) | (x>-x_max & x<-x_max+e)

Обратите внимание, что все переменные здесьтолько скаляры.

Переменная x определена таким образом, что она всегда будет постоянно обновляться, так что g всегда будет импульсом, как показано на этой картинке .То есть g не будет 1 для одного обновления, но будет 1 для нескольких последовательных обновлений.

Может ли какой-либо из этих пакетов реализовать автоматическое вычисление градиента с учетом этой передаточной функции?

Answer 1

Градиент не может быть вычислен.

g, как вы показали, является двоичной переменной.Так что это градиент не может быть вычислен.Даже построенная вами форма волны имеет градиент 0 везде, кроме двух точек (где ее бесконечная функция прерывистая)