PyTorch - пользовательская реализация ReLU в квадрате

Question

Я работаю над проектом и хочу реализовать функцию активации квадрата ReLU (макс. {0, x ^ 2}). Можно ли это назвать так:

# example code
    def forward(self, x):
        s = torch.relu(x**2)
        return s

Или я должен реализовать функцию активации самостоятельно? Во втором случае, не могли бы вы дать мне пример того, как это сделать?

Большое спасибо!

Answer 1

Вы должны использовать

s = torch.relu(torch.pow(x, 2))

. Но в остальном это нормально.