Я работаю с CSV-файлом пар вопросов-квор, который я загрузил в файл данных pd и изолировал qid и вопрос, поэтому мои вопросы имеют такую форму:
0 What is the step by step guide to invest in sh...
1 What is the step by step guide to invest in sh...
2 What is the story of Kohinoor (Koh-i-Noor) Dia...
3 What would happen if the Indian government sto...
.....
19408 What are the steps to solve this equation: [ma...
19409 Is IMS noida good for BCA?
19410 How good is IMS Noida for studying BCA?
Мой набор данных на самом деле больше (500k вопросов), но я буду использовать эти вопросы, чтобы продемонстрировать свою проблему.
Я хочу определить пары вопросов, которые с высокой вероятностью задают одно и то же.Я подумал о наивном способе, который заключается в том, чтобы превратить каждое предложение в вектор, используя doc2vec, а затем для каждого предложения вычислить косинусное сходство с каждым другим предложением.Затем сохраните тот, который имеет наибольшее сходство, и в конце напечатайте все те, которые имеют достаточно высокое косинусное сходство.Проблема в том, что это займет целую вечность, поэтому мне нужен другой подход.
Затем я нашел ответ в другом вопросе, который предлагает использовать кластеризацию для решения аналогичной проблемы.Ниже приведен код, который я реализовал на основе этого ответа.
"Load and transform the dataframe to a new one with only question ids and questions"
train_df = pd.read_csv("test.csv", encoding='utf-8')
questions_df=pd.wide_to_long(train_df,['qid','question'],i=['id'],j='drop')
questions_df=questions_df.drop_duplicates(['qid','question'])[['qid','question']]
questions_df.sort_values("qid", inplace=True)
questions_df=questions_df.reset_index(drop=True)
print(questions_df['question'])
# vectorization of the texts
vectorizer = TfidfVectorizer(stop_words="english")
X = vectorizer.fit_transform(questions_df['question'].values.astype('U'))
# used words (axis in our multi-dimensional space)
words = vectorizer.get_feature_names()
print("words", words)
n_clusters=30
number_of_seeds_to_try=10
max_iter = 300
number_of_process=2 # seads are distributed
model = KMeans(n_clusters=n_clusters, max_iter=max_iter, n_init=number_of_seeds_to_try, n_jobs=number_of_process).fit(X)
labels = model.labels_
# indices of preferable words in each cluster
ordered_words = model.cluster_centers_.argsort()[:, ::-1]
print("centers:", model.cluster_centers_)
print("labels", labels)
print("intertia:", model.inertia_)
texts_per_cluster = numpy.zeros(n_clusters)
for i_cluster in range(n_clusters):
for label in labels:
if label==i_cluster:
texts_per_cluster[i_cluster] +=1
print("Top words per cluster:")
for i_cluster in range(n_clusters):
print("Cluster:", i_cluster, "texts:", int(texts_per_cluster[i_cluster])),
for term in ordered_words[i_cluster, :10]:
print("\t"+words[term])
print("\n")
print("Prediction")
text_to_predict = "Why did Donald Trump win the elections?"
Y = vectorizer.transform([text_to_predict])
predicted_cluster = model.predict(Y)[0]
texts_per_cluster[predicted_cluster]+=1
print(text_to_predict)
print("Cluster:", predicted_cluster, "texts:", int(texts_per_cluster[predicted_cluster])),
for term in ordered_words[predicted_cluster, :10]:
print("\t"+words[term])
Я подумал, что таким образом я смогу найти для каждого предложения кластер, к которому оно, скорее всего, принадлежит, и затем вычислить косинусное сходство между всеми другими вопросами.этого кластера.Таким образом, вместо того, чтобы делать это для всего набора данных, я буду делать это для гораздо меньшего количества документов.Однако, используя код для примера предложения «Почему Дональд Трамп победил на выборах?»У меня есть следующие результаты:
Prediction
Why did Donald Trump win the elections?
Cluster: 25 texts: 244
trump
donald
clinton
hillary
president
vote
win
election
did
think
Я знаю, что мое предложение относится к кластеру 25, и я вижу главные слова для этого кластера.Однако, как я мог получить доступ к предложениям, которые находятся в этом кластере.Есть ли способ сделать это?