pytorch, где реализовано встраивание "max_norm"?

Question

Документация класса "встраивания" https://pytorch.org/docs/stable/nn.html говорит

max_norm (float, optional) – If given, will renormalize the embedding vectors to have a norm lesser than this before extracting.

1) В моей модели я использую этот класс встраивания как параметр, а не только как вход (модель изучает встраивание.) В этом случае, я предполагаю, что каждый раз, когда происходят обновления, встраивание перенормируется, а не только когда это инициализируется. Правильно ли мое понимание?

2) Я хотел подтвердить 1), посмотрев на источник, но не смог найти реализацию в классе встраивания pytorch. https://pytorch.org/docs/stable/_modules/torch/nn/modules/sparse.html Может кто-нибудь указать мне на реализацию max_norm?

Answer 1

Если вы видите forward функцию в классе встраивания здесь , есть ссылка на torch.nn.functional.embedding , которая использует embedding_renorm_, которая находится в документации cpp здесь , что означает, что это реализация cpp. Некоторые github-поиски в репозитории pytorch указывали на эти файлы ( 1 , 2 ).

Ответ на 1 - да. Ответ на 2 выше.