Как генерировать векторы Word2vec в Python?

Question

Я пытаюсь сгенерировать векторы Word2vec.

У меня есть фрейм данных pandas.

Я преобразовал его в токены.

df["token"]

Использовал Word2vec из gensim.models

model = w2v.Word2Vec(
sentences=df["token"],
seed=seed,
workers=num_workers,
size=num_features,
min_count=min_word_count,
window=context_size,
sample=downsampling
)

Как мне теперь преобразовать мой фрейм данных?

Это то, что эквивалентно

model.transform(df)

Answer 1

Если ваш фрейм данных состоит только из слов, вы можете просто сделать так, чтобы

df['new_column'] = model[df['words']]

model['word'] или model[list()] оба дали вам векторное представление вашего word или вашего list