Вам нужно определить производную функцию для пользовательской функции активации в tenorflow 2 keras?

Question

В некоторых местах я вижу, что вам нужно определить производную функцию для вашей пользовательской активации. Это правда? или все, что вам нужно сделать, это просто передать функцию, совместимую с тензорным потоком, оболочке, а остальное позаботится о тензорном потоке?

Ie.

def my_actv(x):
    return x * x

model.add(Activation(my_actv))

Answer 1

Производная должна быть определена, если ваша функция не дифференцируема в каждой точке. Например, relu не дифференцируется в нуле.