Я публикую это здесь, чтобы можно было вставить весь код.
Не зная ваших данных, трудно сказать.Добавьте следующие командные строки печати, чтобы проверить форму ваших массивов.Из ошибки похоже ваши vec1 (96,) и idf (11,384), которые нельзя умножить!
nlp = spacy.load('en_core_web_sm')
vecs1 = []
for qu1 in tqdm(list(train_df['question1'])):
doc1 = nlp(qu1)
mean_vec1 = np.zeros([len(doc1), 384])
for word1 in doc1:
vec1 = word1.vector
try:
idf = word2tfidf[str(word1)]
except:
idf = 0
# Debug Prints
print("idf Shape: %s" %idf.shape)
print("vec1 Shape: %s" %vec1.shape)
print("mean_vec1 Shape: %s" %mean_vec1.shape)
# compute final vec
mean_vec1 += (vec1 * idf)
mean_vec1 = mean_vec1.mean(axis=0)
vecs1.append(mean_vec1)
train_df['q1_feats_m'] = list(vecs1)