Как использовать модель ALBERT для создания встраиваний измерения 128, я попробовал и SentenceTransformer, и HuggingFace, оба из которых генерируют встраивания размера 768, и получил предложение добавить другой слой Dense в существующую модель с 128 узлами, но мне это не кажется правильным, так как, по определению, ALBERT должен быть в состоянии произвести это, любые входные данные?
Ниже приведен код, который я использовал для создания вложений размером 128
word_embedding_model=models.ALBERT('albert-base-v2')
pooling_model = models.Pooling(word_embedding_model.get_word_embedding_dimension(),
pooling_mode_mean_tokens=True,
pooling_mode_cls_token=False,
pooling_mode_max_tokens=False)
dense_model = models.Dense(in_features=768, out_features=128)
model = SentenceTransformer(modules=[word_embedding_model, pooling_model, dense_model])