Есть ли способ увеличить размерность предварительно обученных вложений Word?

Question

Я почти недавно столкнулся с исследованиями НЛП, борющимися с технологиями НЛП и машинного обучения, которые используются в НЛП.

Вопрос, с которым я сейчас имею дело, заключается в том, существует ли какой-либо метод увеличения размерностипредварительно обученных вложений слов (например, вложений GloVe) от фиксированного размера 100, скажем до 512?

Причина, по которой я задаю такой вопрос, заключается в том, что я использовал эти вложения для обучения сети RNN с заранее заданным измерением 100. Теперь я перешел на механизм самосохранения (Трансформаторы), где модельочень чувствителен к параметрам тренировки.Итак, мне было интересно, смогу ли я как-нибудь (например, с помощью персептрона или, может быть, MLP) трансформировать вложения 100d в новое пространство с 512d.

Я гуглил это, прежде чем спросить здесь, но в итоге не нашел надежного источника.

Answer 1

Я понимаю, что вы хотите передать 100d встраивание в сеть, которая принимает входные данные измерения 512.Для этого вам нужно спроецировать векторы вложения на более высокое измерение.Вы можете использовать простой прямой / линейный слой, который принимает на входе размер 100. Сделайте скрытый размер слоя равным желаемому размеру, который в данном случае равен 512.Также обратите внимание, что это должно быть частью всей обучаемой сети, т. Е. Уровень прямой связи должен быть обучаемым.