Pytorch 0.4: должен ли флаг require_grad сетевого входа быть установлен в True во время обучения?

Question

Флаг ввода requires_grad по умолчанию False во время моей последней тренировки.Мне было интересно, если я должен установить его на True.

Answer 1

Так обычно:

• Для всех тензоров / весов, которые вы хотите обучить флаг requires_grad должен быть True.
  Это относится к вашим параметрам соотв. веса и смещения . Итак, вы хотите, чтобы флаг был True. Но это уже значение по умолчанию для предопределенных модулей, таких как nn.Linear, nn.Embedding. nn.Conv2d и т. Д. Так что вам не нужно его менять.

• Для таких вещей, как input флаг requires_grad должен быть False, так как вы не хотите обучать свои входные данные.

Надеюсь, это ответит на ваш вопрос, если вы хотите узнать что-то более конкретное, просто спросите!